Загадка большой языковой модели ⇐ Python

[Anonymous]

В настоящее время я использую GPT-3 и пытаюсь сравнить его возможности с соответствующими языковыми моделями для своей магистерской диссертации.
К сожалению, GPT-3 — это приложение на основе API, поэтому я не могу извлекать метрики. например, недоумение.
Через API у меня есть доступ к этим трем показателям и, конечно же, к выводам моделей:

• training_loss: потеря в обучающем пакете
• training_sequence_accuracy: процент завершений в обучающем пакете, для которых предсказанные моделью токены соответствовали истинные токены завершения точно. Например, с размером пакета, равным 3, если ваши данные содержат завершения [[1, 2], [0, 5], [4, 2]] и предсказание модели [[1, 1], [0, 5] , [4, 2]], эта точность составит 2/3 = 0,67
• training_token_accuracy: процент токенов в обучающем пакете, который были правильно предсказаны моделью. Например, с размером пакета, равным 3, если ваши данные содержат завершения [[1, 2], [0, 5], [4, 2]] и предсказание модели [[1, 1], [0, 5] , [4, 2]], эта точность составит 5/6 = 0,83

Есть ли возможность вычислить сложность моей модели с использованием Python?
Спасибо.

Подробнее здесь: https://stackoverflow.com/questions/716 ... perplexity