Очистка текстов UTF-8 в Python от странных символов [дубликат]Python

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Очистка текстов UTF-8 в Python от странных символов [дубликат]

Сообщение Anonymous »

У меня есть тексты, проанализированные с веб-сайтов, и мне нужно очистить их на Python для последующего использования в НЛП. Они на польском, а не на английском языке, поэтому у меня есть символы UTF-8, такие как ą, ł, ó и т. д. Мне нужно оставить только обычные знаки препинания ( и т. д.) и буквы (включая польские символы) и удалите все «странные», нестандартные символы, такие как, например, •. Как мне это сделать? Я думаю, что мне нужно регулярное выражение и заменить эти нестандартные символы на "" (без символов), но я не знаю, как фильтровать только "обычные" символы. Здесь проблема с UTF-8, получить алфавит ASCII легко.

Подробнее здесь: https://stackoverflow.com/questions/620 ... characters
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Сохранение текстов UTF-8 с помощью json.dumps как UTF-8, а не как escape-последовательность \u
    Anonymous » » в форуме Python
    0 Ответы
    125 Просмотры
    Последнее сообщение Anonymous
  • Удаление странных/специальных символов из выходных данных модели llama 3.1.
    Anonymous » » в форуме Python
    0 Ответы
    18 Просмотры
    Последнее сообщение Anonymous
  • С WIBERNATE Добавить странных символов в конце полей, поэтому он не может читать имена столбцов
    Anonymous » » в форуме JAVA
    0 Ответы
    12 Просмотры
    Последнее сообщение Anonymous
  • Получение странных символов в выводе [дублировать]
    Anonymous » » в форуме JAVA
    0 Ответы
    6 Просмотры
    Последнее сообщение Anonymous
  • Получение странных символов в выводе [дублировать]
    Anonymous » » в форуме JAVA
    0 Ответы
    5 Просмотры
    Последнее сообщение Anonymous

Вернуться в «Python»