Сходство от слова к предложению после произнесения слов ВстраиваниеPython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Сходство от слова к предложению после произнесения слов Встраивание

Сообщение Anonymous »

У меня есть фрейм данных с 1000 текстовыми строками.
Я сделал word2vec.
Теперь я хочу создать новое поле, которое даст мне расстояние от каждого предложения до слова, которое я хочу, скажем, слова «король».
Я подумал о том, чтобы взять в каждом предложении 4 близких слова к слову «король» и вычислить из них среднее значение.
возможно, используя model.wv.similarity.
среднее значение каждого предложения будет указано в поле df['king']
Я буду рад узнать, как это сделать или узнать о другом методе.
пример данных:

Код: Выделить всё

    data = {
'text': [
"The king sat on the throne with wisdom.",
"A queen ruled the kingdom alongside the king.",
"Knights were loyal to their king.",
"The empire prospered under the rule of a wise monarch."
]
}
df = pd.DataFrame(data)
df['text']=df['text'].str.split()

model = Word2Vec(df['text'], vector_size=100, window=2, min_count=1 )

model.wv.similarity('Knights','king')
edit:
Моя миссия:
У меня 1000 текстов строки (люди, которые на что-то жалуются)
Я хочу каталогизировать их по 4 словам.
Допустим, слово 1 — главное. Слово 2 — замок…
Я хочу знать о каждом предложении, какое слово из 4 слов больше всего представляет предложение.
Для этого я подумал о том, чтобы взять каждое слово из 4 слов и вычислить модель. wv.similarity для всех слов в df['text'].
После этого для каждого предложения возьмите 3 слова, которые имеют наивысший балл к слову король (и к слову замок и и т. д.) .
вычислите среднее значение трех наивысших баллов, и это будет значение df['king'] для предложения

Подробнее здесь: https://stackoverflow.com/questions/792 ... -embedding
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Сходство от слова к предложению после выполнения word2vec
    Anonymous » » в форуме Python
    0 Ответы
    13 Просмотры
    Последнее сообщение Anonymous
  • Сходство от слова к предложению после выполнения word2vec
    Anonymous » » в форуме Python
    0 Ответы
    11 Просмотры
    Последнее сообщение Anonymous
  • Сходство от слова к предложению после выполнения word2vec
    Anonymous » » в форуме Python
    0 Ответы
    8 Просмотры
    Последнее сообщение Anonymous
  • API OpenAI Embeddings: как получить встраивание и вычислить косинусное сходство?
    Anonymous » » в форуме Python
    0 Ответы
    18 Просмотры
    Последнее сообщение Anonymous
  • Как получить косинусное сходство слова, встраиваемого из модели BERT
    Anonymous » » в форуме Python
    0 Ответы
    16 Просмотры
    Последнее сообщение Anonymous

Вернуться в «Python»