Как удалить стоп-слова из столбца DataFrame Polars с помощью SpaCy-GPU? ⇐ Python

[Anonymous]

Я работаю с DataFrame Polars и хочу удалить стоп-слова из определенного столбца с помощью SpaCy с поддержкой графического процессора. У меня следующая настройка:

Код: Выделить всё

import polars as pl
import spacy

# Load SpaCy with GPU enabled
spacy.require_gpu()
nlp = spacy.load("en_core_web_sm")  # Load the SpaCy model

# Sample Polars DataFrame
df_cleaned = pl.DataFrame({
"TITLE": ["This is a title", "Another title", "Sample title"]
})

Я знаю, как использовать SpaCy для удаления стоп-слов в кадре данных Pandas, но я хочу сохранить все в Polars. Основная проблема заключается в том, что я не могу применять пользовательские функции к кадрам данных Polars так же, как я это делаю в Pandas.
Вот что я пробовал:

Код: Выделить всё

def remove_stopwords(text):
doc = nlp(text)  # Process the text with SpaCy
return " ".join([token.text for token in doc if not token.is_stop])  # Return processed text

# Attempting to apply the function to the TITLE column
df_cleaned = df_cleaned.with_columns(
pl.col("TITLE").apply(remove_stopwords).alias("TITLE")
)

Однако я получаю сообщение об ошибке, сообщающее, что у объекта Expr нет атрибута Apply.
Как я могу эффективно удалить стоп-слова из Столбец Polars DataFrame при использовании SpaCy для обработки текста? Есть ли обходной путь для применения функций, как в Pandas?

Подробнее здесь: https://stackoverflow.com/questions/790 ... -spacy-gpu