Энтропия Шеннона и сжатие данных. Часть 1

Мой учитель говорил: "Когда чего-то не понимаешь, пиши статью". Когда пишешь, всё излагаешь систематически и по порядку, видишь, где у тебя пробелы, и в конце концов всё становится более понятным.

Я давно хотел поподробнее разобраться с одной проблемой в оценке энтропии: почему моя оценка по степени сжатия оказалась лучше того, что выведено в метаданных PNG файлов. Я провёл небольшое исследование с помощью Gemini.

— А мне студентов-практикантов навязали. Учу вот!

Пишу вот!

Энтропия источника данных

Понятие энтропии источника данных связано с теоретическим максимальным коэффициентом сжатия данных без потерь.

( Read more... )

В следующей записи я рассмотрю конкретный пример оценки энтропии для файла изображения в формате PNG.