У меня возникли проблемы с обучением модели SetFit с использованием различных моделей внедрения и логистической регресси ⇐ Python

[Anonymous]

Это первый пост здесь, и я новичок в setfit, так как обучил с его помощью только одну модель, но не думаю, что столкнулся с проблемой новичка. Итак, вот совок. Я обучал модель внедрения на setfit, довольно простую, с одной меткой, не слишком сложную. Проблема заключалась в том, что моя точность была очень низкой. Моя функция потерь тоже была... интересной. Мне также пришлось бы обучать две другие модели на этих данных, и если это не работает для первой, то почему бы и для второй. По этой причине я решил переделать свой набор данных, чтобы можно было выполнять классификацию по нескольким меткам для всех элементов (поскольку две категории имеют одну метку, а остальные — несколько меток). Как только этот процесс был завершен, я приступил к обучению модели. Впервые я столкнулся с массой ошибок, которые «я» исправил с помощью Клода (у меня очень строгие сроки, и я бы с удовольствием решил их сам, но, к сожалению, у меня нет времени). Когда модель наконец приступила к обучению, она достигла примерно той же точности, что и исходная модель (60–63%). Клод написал код отладки, чтобы посмотреть, что происходит, и я его запустил. Результат был очень разочаровывающим.
Модель решила выводить одну и ту же метку, независимо от того, о чем был вопрос. Я предположил, что это переобучение, поэтому уменьшил эпохи, итерации, скорость обучения и все, что мог придумать, чтобы модель не могла мгновенно найти наиболее распространенные элементы в моих данных. Когда я показал этот результат вместе с балансом (или его отсутствием) меток в моем наборе данных (некоторые из них имеют сотни, а другие - однозначные цифры, что частично является результатом объединения нескольких категорий для использования классификации с несколькими метками), это предположило, что проблема заключалась в «коллапсе» модели внедрения, особенно когда он увидел, что все вложения вышли из строя (очень экстремально, так или иначе, без промежуточных значений). Судя по описанию, это кажется правдоподобным, однако решение кажется подозрительным, и я хочу попросить реальных людей узнать, есть ли у кого-нибудь идеи. Предлагалось заморозить тело и просто тренировать голову, но я предполагаю, что есть способ обучить модель, чтобы она была более устойчивой к этому, хотя я обучил параметры, которые, как я думал, повлияют на это (например, выборку), и это все равно не сработало. Единственная другая идея, которая у меня есть, - попытаться переделать набор данных, но более сбалансированным, но я не уверен, стоит ли это потраченного времени и затрат (поскольку я бы использовал ИИ для генерации входных и выходных данных, локальных или близнецов).
Есть ли у кого-нибудь здесь какие-либо предложения? Также я знаю, что был немного расплывчат в конкретной информации, но, надеюсь, этого достаточно (поскольку сортировка всех старых результатов заняла бы много времени), учитывая, что я думаю, что это общая проблема. Заранее благодарим за любую помощь!

Подробнее здесь: https://stackoverflow.com/questions/798 ... ing-models