Модель facebook/m2m100_418M – как переводить длинные последовательности текста ⇐ Python

Программы на Python
Anonymous
Модель facebook/m2m100_418M – как переводить длинные последовательности текста

Сообщение Anonymous »

Я извлек следующий текст из Википедии Wiki (https://en.wikipedia.org/wiki/Wiki),

Код: Выделить всё

A wiki is a form of hypertext publication on the internet which is collaboratively edited and managed by its audience directly through a web browser. A typical wiki contains multiple pages that can either be edited by the public or limited to use within an organization for maintaining its internal knowledge base.

Wikis are powered by wiki software, also known as wiki engines. Being a form of content management system, these differ from other web-based systems such as blog software or static site generators in that the content is created without any defined owner or leader. Wikis have little inherent structure, allowing one to emerge according to the needs of the users. Wiki engines usually allow content to be written using a lightweight markup language and sometimes edited with the help of a rich-text editor. There are dozens of different wiki engines in use, both standalone and part of other software, such as bug tracking systems. Some wiki engines are free and open-source, whereas others are proprietary. Some permit control over different functions (levels of access); for example, editing rights may permit changing, adding, or removing material. Others may permit access without enforcing access control. Further rules may be imposed to organize content. In addition to hosting user-authored content, wikis allow those users to interact, hold discussions, and collaborate.
и попытался перевести его на французский язык, как показано на карточке-образце, и обнаружил, что часть текста была исключена из перевода.
Это французский перевод, который я получил,

Код: Выделить всё

Un wiki est une forme de publication hypertexte sur Internet qui est collaborativement édité et géré par son public directement par le biais d'un navigateur Web. Un wiki typique contient plusieurs pages qui peuvent soit être édité par le public ou limité à utiliser dans une organisation pour maintenir sa base de connaissances interne. Wikis sont alimentées par le logiciel wiki, également connu sous le nom de moteurs wiki. Être une forme de système de gestion du contenu, ces derniers diffèrent d'autres systèmes web tels que le logiciel de blog ou les générateurs de site statiques dans lequel le contenu est créé sans propriétaire ou leader défini. Wikis ont peu de structure inhérente, permettant à l'un d'émerger en fonction des besoins des utilisateurs. Les moteurs wiki permettent généralement le contenu
и английская версия, согласно Google-переводчику, (я хотел проверить перевод, так как не знаю французского)

Код: Выделить всё

A wiki is a form of hypertext publication on the Internet that is collaboratively edited and managed by its audience directly through a web browser. A typical wiki contains multiple pages that can either be edited by the public or restricted to use within an organization to maintain its internal knowledge base. Wikis are powered by wiki software, also known as wiki engines. Being a form of content management system, these differ from other web systems such as blogging software or static site generators in which content is created without a defined owner or leader. Wikis have little inherent structure, allowing one to emerge based on user needs. Wiki engines typically allow content
Итак, как видно из обоих (из facebook/m2m100_418M и google-translate), перевод с m2m100_418M короче, и я предполагаю, что ввод был усечен из-за возможностей модели.< /p>
Как перевести более длинные последовательности с помощью этой предварительно обученной модели? и если вариант состоит в том, чтобы подавать более короткие последовательности в цикле, как найти порог, при котором предложения заканчиваются или не позволить контексту потеряться, а не при ограничении символов?

Подробнее здесь: https://stackoverflow.com/questions/790 ... es-of-text

Вернуться в «Python»