Лекции по "Теории информации"

К моменту возникновения термодинамики как науки (около двухсот лет назад) в естествознании господствовала механика Ньютона, механика обратимого времени, механика "однажды созданного" неразвивающегося мира. Даже живая природа трактовалась неизменной и неподвижной в своем развитии. Основоположник научной биологии, автор классификации видов Карл Линней представлял биологические виды как созданные одновременно и не имеющие развития. Понятие времени в том естествознании не существовало.

Лекция 1 3
ЭТАПЫ РАЗВИТИЯ СОВРЕМЕННОЙ ТЕОРИИ ИНФОРМАЦИИ 3
Определения 6
2.1. Что такое информация? 7
2.2. Эволюция материи Процесс развития Вселенной 8
2.3. Теория отражения 9
2.4. Носители информации, память 10
2.5. Носители информации вещество и поле 11
2.8. Непрерывное и дискретное 12
2.11. Данные 14
2.9. Знания 15
Хранение, измерение, обработка и передача информации 16
2.6. Процесс передачи сообщений 16
Тема 2 18
Раздел 3. Количество информации 18
3.1. Бит - минимальная единица измерения информации 18
3.2. Неопределенность, количество информации и энтропия 19
3.3. Формула Шеннона 21
3.4. Формула Хартли 23
3.5. Количество информации, получаемой в процессе сообщения 24
Формальное представление знаний 26
4.5. Кодирование графической информации 27
4.5.1. Восприятие цвета человеком и животными 28
4.5.2. Цветовые модели RGB и CMYK 29
4.5.3. Цветовые модели HSB и Lab 32
4.6. Кодирование звуковой информации 33
4.6.1. Цифро-аналоговое и аналогово-цифровое преобразование звуковой информации 35
4.6.2. Параметры семплирования 36
ТЕМА 3 38
Лекция 5. Информация и энтропия. 38
Мера количества информации 38
Энтропия источника дискретных сообщений 40
А. Энтропия источника независимых сообщений 40
Б. Энтропия источника зависимых сообщений 42
Избыточность источника сообщений 43
ТЕМА 4 45
Лекция 6. Пропускная способность дискретных каналов и эффективность систем передачи информации 45
Скорость передачи информации и пропускная способность дискретного канала без помех 45
Оптимальное статистическое кодирование сообщений 46
Скорость передачи информации и пропускная способность дискретных каналов с помехами 48
Теорема Шеннона для дискретного канала с помехами 51
Пропускная способность непрерывного канала. Формула Шеннона 51
Эффективность систем передачи информации 51
ТЕМА 5 53
Лекция 7. Системы сжатия данных для кодирования источника информации 53
Основы экономного кодирования 53
Цель сжатия данных и типы систем сжатия 60
Сжатие без потерь информации 60
Сжатие с потерей информации 61
Лекция 8. Коды без памяти, коды с памятью и арифметическое кодирование 64
Коды без памяти и алгоритм Хаффмена 64
Алгоритм Хаффмена 66
Коды с памятью 67
Арифметическое кодирование 69
А. Кодирование 70
Декодирование 71
Лекция 9. Словарные методы кодирования. Кодирование длин повторений и дифференциальное кодирование. Методы сжатия с потерей информации. 74
Словарные методы кодирования. Метод Лемпела-Зива 74
Кодирование длин повторений 76
Дифференциальное кодирование 77
Методы сжатия с потерей информации 79
Стандарт сжатия JPEG 80
Лекция 10. Рекурсивный алгоритм сжатия информации, понятие о методах кодирования подвижных изображений и речевых сигналов 90
Рекурсивный (волновой) алгоритм 90
Методы сжатия подвижных изображений (видео) 92
Методы сжатия речевых сигналов 94