LZSS — обработка сжатия данных, содержащих строки, подобные токенам. ⇐ C++

[Anonymous]

Я работал над реализацией некоторых алгоритмов сжатия в C/C++ и JavaScript и начал с создания LZSS. Пока вроде все хорошо. Я проверяю буфер словаря на наличие совпадений, и если совпадение больше, чем токен, я вывожу токен, в противном случае я вывожу совпадение.
Я знаю, что есть несколько способов реализовать это; но сейчас я конвертирую следующую строку:

Код: Выделить всё

this is my compression algorithm. It is very cool. I like compression.

в

Код: Выделить всё

this is my compression algorithm. It is very cool. I like.

Это выглядит хорошо и успешно уменьшает размер текста; но есть крайний случай!
Что, если исходный текст содержит данные, похожие на тег; но не имеет совпадений для кодирования, что приводит к появлению ложного тега в выходных сжатых данных?
Каков стандартный метод решения этой потенциальной проблемы?

Подробнее здесь: https://stackoverflow.com/questions/798 ... ke-strings