Re: iconv сваливается при больших входных данных
On 2005.08.30 at 11:44:17 +0400, Mihail A Antonov wrote:
> Hello debian-russian.
>
> Никто не замечал такой странности что iconv сваливается при больших
> входных данных? (3-5Мб, больше не пробовал.)
> cat bigfile | iconv -f cp1251 -t koi8-r | less
> вижу только кусок файла.
-c попробуй ему сказать. Дело в том, что iconv(1) не предназначен для
перекодировки между кодировками, у которых не все символы совпадают.
В cp1251 есть около 40 символов, у которых нет эквивалента в koi8-r
(кавычки ёлочки, длинное тире etc). Соответственно, iconv по умолчанию
отваливается на первом же символе, который не может однозначно
перекодировать.
С -c он просто выкинет все левые символы.
Рекомендую использовать в качестве перекодировщика текстовых файлов,
предназначенных для прочтения на экране catdoc. Там предусмотрен
специальный механизм для замены отсутствующих в выходной кодировке
символов на (многосимвольные) смысловые эквиваленты.
Reply to: