У меня есть блок текстовых данных, почти все из которых имеют формат utf8. Почти все, но не все. Он содержит смесь других популярных кодировок, таких как iso8859-xx, windows-1252 и даже EBCDIC. Кодировки НЕ разграничены или указаны в этом блоке текста. Информация о кодировке мне недоступна.
Я хочу иметь возможность передавать этот текст в системы, которые принимают только действительный utf8. То есть я хотел бы закодировать недопустимые байты в какие-то допустимые escape-символы. Я хотел бы сделать это обратимо, чтобы при необходимости можно было восстановить исходный текст. Каков самый минимальный и самый стандартный способ сделать это?
Например, я мог бы закодировать URL-адрес всего. Но это некрасиво; пробелы превращаются в %20 и так далее. Это перебор: он берет абсолютно корректный UTF8 и преобразует его в трудночитаемый gorp.
Я мог бы изобрести свою собственную кодировку. Я уже пробовал конвертировать недопустимые байты в так называемые «суррогатные кодовые точки» в диапазоне U+D800—U+DFFF, но быстро обнаружил, что подсистемы utf8 их ненавидят (генерируют исключения, ошибки и т. д.)
Я мог бы изобрести свою собственную кодировку, печатая недопустимые байты как шестнадцатеричный текст ascii. Не знаю, как разграничить начало и конец. Замена недопустимых байтов на «йо, чувак, вот идет двоичный файл>>deadbeef
Подробнее здесь: https://stackoverflow.com/questions/793 ... -into-utf8
