Кажется, стоит дополнить - разумеется, сжимаются строки ненулевой
длины, но достаточно малые для того, чтобы имело смысл применить
построчное сжатие; скажем, длина строк от 100 до 1000 байт.
Подойдет и вариант поблочного сжатия (например, блоками по 16...256
килобайт). Как очень простой вариант, можно сжимать по N строк и в
хексе их записывать построчно на диск... итоговый файл легко
пропустить через tac и далее построчно читать, распаковывая и делая
реверс строки. При правильно выбранном N получим и выигрыш от сжатия и
простую распаковку. При наличии достаточного объема ОЗУ аналогичное
легко проделывается в памяти (без перекодировки в хекс). Наверняка
есть готовые библиотеки и утилиты, реализующие данный алгоритм (как
минимум, подобное делается во множестве СУБД с поколоночным
хранением).