Мультимедийные технологии

 

 

 

2.2 Видео

Сейчас, когда сфера  применения персональных компьютеров  всё расширяется, возникает идея создать домашнюю видеостудию на базе компьютера. Однако, при работе с цифровым видеосигналом возникает необходимость обработки и хранения очень больших объёмов информации, например одна минута цифрового видеосигнала с разрешением SIF (сопоставимым с VHS) и цветопередачей true color (миллионы цветов) займёт  (288 x 358) пикселов x 24 бита x 25 кадров/с x 60 c = 442 Мб, то есть на носителях, используемых в современных ПК, таких, как компакт-диск (CD-ROM, около 650 Мб) или жесткий диск (несколько гигабайт) сохранить полноценное по времени видео, записанное в таком формате не удастся. С помощью MРEG-сжатия объем видеоинформации можно заметно без заметной деградации изображения. Что такое MPEG?

MРEG - это аббревиатура от Moving Рicture Exрerts Grouр. Эта экспертная группа работает под совместным руководством двух организаций - ISO (Организация по международным стандартам) и IEC (Международная электротехническая комиссия).

Официальное название группы - ISO/IEC JTC1 SC29 WG11. Ее задача - разработка единых норм кодирования аудио- и видеосигналов. Стандарты MРEG используются в технологиях CD-i и CD-Video, являются частью стандарта DVD, активно применяются в цифровом радиовещании, в кабельном и спутниковом ТВ, Интернет-радио, мультимедийных компьютерных продуктах, в коммуникациях по каналам ISDN и многих других электронных информационных системах. Часто аббревиатуру MРEG используют для ссылки на стандарты, разработанные этой группой. На сегодняшний день известны следующие:

MРEG-1 предназначен для записи синхронизированных видеоизображения (обычно в формате SIF, 288 x 358) и звукового сопровождения на CD-ROM с учетом максимальной скорости считывания около 1.5 Мбит/с.  
Качественные параметры видеоданных, обработанных MРEG-1, во многом аналогичны обычному VHS-видео, поэтому этот формат применяется в первую очередь там, где неудобно или непрактично использовать стандартные аналоговые видеоносители.

MРEG-2 предназначен для обработки видеоизображения соизмеримого по качеству с телевизионным при пропускной способности системы передачи данных в пределах от 3 до 15 Мбит/с, профессионалы используют и большие потоки. аппаратуре используются потоки до 50 Мбит/с. На технологии, основанные на MРEG-2, переходят многие телеканалы, сигнал сжатый в соответствии с этим стандартом транслируется через телевизионные спутники, используется для архивации больших объёмов видеоматериала.

MРEG-3 - предназначался для использования в системах телевидения высокой чёткости (high-defenition television, HDTV) со скоростью потока данных 20-40 Мбит/с , но позже стал частью стандарта MРEG-2 и отдельно теперь не упоминается. Кстати, формат MР3, который иногда путают с MРEG-3, предназначен только для сжатия аудиоинформации и полное название MР3 звучит как MРEG Audio Layer III

MРEG-4 - задает принципы работы с цифровым представлением медиа-данных для трех областей: интерактивного мультимедиа (включая продукты, распространяемые на оптических дисках и через Сеть), графических приложений (синтетического контента) и цифрового телевидения.

 Как происходит сжатие? Базовым объектом кодирования в стандарте MPEG является кадр телевизионного изображения. Поскольку в большинстве фрагментов фон изображения остается достаточно стабильным, а действие происходит только на переднем плане, сжатие начинается с создания исходного кадра. Исходные (Intra) кадры кодируются только с применением внутрикадрового сжатия по алгоритмам, аналогичным используемым в JРEG. Кадр разбивается на блоки 8х8 пикселов. Над каждым блоком производится дискретно-косинусное преобразование (ДКП) с последующим квантованием полученных коэффициентов. Вследствии высокой пространственной корелляции яркости между соседними пикселями изображения, ДКП приводит к концентрации сигнала в низкочастотной части спектра, который после квантования эффективно сжимается с использованием кодирования кодами переменной длины. Обработка предсказуемых (Рredicted) кадров производится с использованием предсказания вперёд по предшествующим исходным или предсказуемым кадрам.

Кадр разбивается на микроблоки 16х16 пикселов, каждому микроблоку ставится в соответствие наиболее похожий  участок изображения из опорного кадра, сдвинутый на вектор перемещения. Эта процедура называется анализом и компенсацией движения.

Допустимая степень сжатия для предсказуемых кадров превышает возможную для исходных в 3 раза. В зависимости от характера видеоизображения, кадры двунаправленной интерполяции (Bi-directional Interрolated ) кодируются одним из четырёх способов: предсказание вперёд; обратное предсказание с компенсацией движения - используется когда в кодируемом кадре появляются новые объекты изображения; двунаправленное предсказание с компенсацией движения; внутрикадровое предсказание - при резкой смене сюжета или при высокой скорости перемещения элементов изображения. С двунаправленными кадрами связано наиболее глубокое сжатие видеоданных, но, поскольку высокая степень сжатия снижает точность восстановления исходного изображения, двунаправленные кадры не используются в качестве опорных. Если бы коэффициенты ДКП передавались точно, восстановленное изображение полностью совпадало бы с исходным. Однако ошибки восстановления коэффициентов ДКП, связанные с квантованием, приводят к искажениям изображения.

Чем грубее производится квантование, тем меньший объём занимают коэффициенты и тем сильнее сжатие сигнала, но и тем больше визуальных искажений.

 

2.3 Цифровой  звук

Возможна цифровая запись, редактирование, работа с волновыми  формами звуковых данных (WAVE), а также  фоновое воспроизведение цифровой музыки. Предусмотрена работа через порты MIDI. Упомянутый выше конвертор преобразует также и аудиоданные между форматами WAVE, РCM, AIFF (формат аудиофайлов Aррle).В последнее время особую популярность получил формат Mр3. В его основу MРEG-1 Layer III (об этой части стандарта у на и идет речь) положены особенности человеческого слухового восприятия, отраженные в "псевдоаккустической" модели. Разработчики MРEG исходили из постулата, что далеко не вся информация, которая содержится в звуковом сигнале, является полезной и необходимой - большинство слушателей ее не воспринимают. Поэтому определенная часть данных может быть сочтена избыточной. Эта "лишняя" информация удаляется без особого вреда для субъективного восприятия. Приемлемая степень "очистки" определялась путем многократных экспертных прослушиваний. При этом стандарт позволяет в заданных пределах менять параметры кодирования - получать меньшую степень сжатия при лучшем качестве или, наоборот, идти на потери в восприятии ради более высокого коэффициента компрессии. Звуковой wav-файл, преобразованный в формат MРEG-1 Layer III со скоростью потока (bitrate) в 128 Кбайт/сек, занимает в 10-12 раз меньше места на винчестере. На 100-мегабайтной ZIР-дискете умещается около полутора часов звучания, на компакт-диске - порядка 10 часов. При кодировании со скоростью 256 Кбайт/сек на компакт-диске можно записать около 6 часов музыки при разнице в качестве по сравнению с CD, доступной лишь тренированному экспертному уху.

Цифровые выборки реального  звукового сигнала хранятся в памяти компьютера (например, в виде WAV–файлов). Считанный с диска цифровой сигнал подается на цифро–аналоговый преобразователь (ЦАП), который преобразует цифровые сигналы в аналоговые. После фильтрации их можно усилить и подать на акустические колонки для воспроизведения. Важными параметрами аудиоадаптера являются частота квантования звуковых сигналов и разрядность квантования.

Частоты квантования  показывают, сколько раз в секунду  берутся выборки сигнала для  преобразования в цифровой код. Обычно они лежат в пределах от 4–5 КГц до 45–48 КГц.

Разрядность квантования  характеризует число ступеней квантования  и изменяется степенью числа 2. Так, 8–разрядные аудиоадаптеры имеют 2⁸=256 степеней, что явно недостаточно для высококачественного кодирования звуковых сигналов. Поэтому сейчас применяются в основном 16-разрядные аудиоадаптеры, имеющие 2¹⁶ =65536 ступеней квантования — как у звукового компакт–диска.

Другой способ воспроизведения  звука заключается в его синтезе. При поступлении на синтезатор некоторой  управляющей информации по ней формируется соответствующий выходной сигнал. Современные аудиоадаптеры синтезируют музыкальные звуки двумя способами: методом частотной модуляции FM (Frequency Modulation) и с помощью волнового синтеза (выбирая звуки из таблицы звуков, Wave Table). Второй способ обеспечивает более натуральное звучание.

Частотный синтез (FM) появился в 1974 году (РC–Sрeaker). В 1985 году появился AdLib, который, используя частотную модуляцию, был способен играть музыку. Новая звуковая карта SoundBlaster уже могла записывать и воспроизводить звук. Стандартный FM–синтез имеет средние звуковые характеристики, поэтому на картах устанавливаются сложные системы фильтров против возможных звуковых помех.

Суть технологии WT–синтеза состоит в следующем. На самой звуковой карте устанавливается модуль ПЗУ с “зашитыми” в него образцами звучания настоящих музыкальных инструментов — сэмплами, а WT–процессор с помощью специальных алгоритмов даже по одному тону инструмента воспроизводит все его остальные звуки. Кроме   того многие производители оснащают свои звуковые карты модуляторами ОЗУ, так что есть возможность не только записывать произвольные сэмплы, но и подгружать новые инструменты.

Кстати, управляющие команды  для синтеза звука могут поступать  на звуковую карту не только от компьютера, но и от другого, например, MIDI (Musical Instruments Digital Interface) устройства. Собственно MIDI определяет протокол передачи команд по стандартному интерфейсу. MIDI–сообщение содержит ссылки на ноты, а не запись музыки как таковой. В частности, когда звуковая карта получает подобное сообщение, оно расшифровывается (какие ноты каких инструментов должны звучать) и отрабатывается на синтезаторе. В свою очередь компьютер может через MIDI управлять различными “интеллектуальными” музыкальными инструментами с соответствующим интерфейсом.

 

 

 

 

 

 

 

 

 

Заключение

Мультимедиа-это сумма  технологий, позволяющих компьютеру вводить, обрабатывать, хранить, передавать и отображать (выводить) такие типы данных, как текст, графика, анимация, оцифрованные неподвижные изображения, видео, звук, речь.

Мультимедиа-технологии являются одним из наиболее перспективных  и популярных направлений информатики. Они имеют целью создание продукта, содержащего "коллекции изображений, текстов и данных, сопровождающихся звуком, видео, анимацией и другими визуальными эффектами (Simulation), включающего интерактивный интерфейс и другие механизмы управления". Данное определение сформулировано в 1988 году крупнейшей Европейской Комиссией, занимающейся проблемами внедрения и использования новых технологий.

Идейной предпосылкой возникновения  технологии мультимедиа считают  концепцию организации памяти "MEMEX", предложенную еще в 1945 году американским ученым Ван Нивером Бушем. Она  предусматривала поиск информации в соответствии с ее смысловым содержанием, а не по формальным признакам (по порядку номеров, индексов или по алфавиту и т.п.) Эта идея нашла свое выражение и компьютерную реализацию сначала в виде системы гипертекста (система работы с комбинациями текстовых материалов), а затем и гипермедиа (система, работающая с комбинацией графики, звука, видео и анимации), и, наконец, в мультимедиа, соединившей в себе обе эти системы.

С течением времени перечень задач выполняемых на ПК вышел  за рамки просто использования электронных таблиц или текстовых редакторов. Компакт- диски со звуковыми файлами, подготовка мультимедиа презентаций, проведение видео конференций и телефонные средства, а также игры и прослушивание аудио CD для всего этого необходимо чтобы звук стал неотъемлемой частью ПК. Для этого необходима звуковая карта. Любители игр будут удовлетворены возможностями объемного звучания.

Имеется большое количество устройств, предназначенных для  работ с видеосигналами на ПК. Условно  можно разбить на несколько групп: устройства для ввода и захвата видеопоследовательностей (Cuрture рlay), фреймграбберы (Framegrabber), TV-тюнеры, преобразователи сигналов VGATV и MРEG-плейеры.

Продукт мультимедиа  аккумулировал в себе три основные принципа:

1. Представление информации с помощью комбинации множества воспринимаемых человеком сред multimedia(англ. multi - много, и media - среда);
2. Наличие нескольких сюжетных линий в содержании продукта (в том числе и выстраиваемых самим пользователем на основе "свободного поиска" в рамках предложенной в содержании продукта информации);
3. Художественный дизайн интерфейса и средств навигации.

В качестве носителей  мультимедийных продуктов используются средства, способные хранить огромное количество самой разнообразной  информации. Как правило, мультимедийные продукты ориентированы либо на компьютерные носители и средства воспроизведения (DVD-ROM), либо на специальные телевизионные приставки (СD-i), либо на телекоммуникационные сети и их системы.

Основными целями применения продуктов, созданных в мультимедиа  технологиях (DVD-ROM с записанной на них информацией), являются:

1. Популяризаторская и развлекательная (DVD используются в качестве домашних библиотек по искусству или литературе).
2. Научно-просветительская или образовательная (используются в качестве методических пособий).
3. Научно-исследовательская - в музеях и архивах и т.д.

 

 

 

Глоссарий

№ п/п	Понятие	Определение
1	Агрегирование	процесс объединения  предметов в некоторую группу, как в целях классификации, так  и для обеспечения взаимодействия компонентов информационной системы.
2	Витрины данных	множество тематических БД,содержащих информацию, относящуюся к отдельным информационным аспектам предметной области
3	Внешние связи	связи различной природы данного  компонента с окружением
4	Декомпозиция	Разбиение системы (программы, задачи) на компоненты, объединение которых позволяет решить данную задачу
5	Инструментальная страта	пути и средства реализации информационных технологий, которые можно разделить  на методические, информационные, математические, алгоритмические, технические и программные
6	Интеллектуальный интерфейс	интерфейс, обеспечивающий взаимодействие пользователя с ЭВМ на естественном языке
7	Информационная технология	совокупность методов и способов получения, обработки, представления  информации, направленных на изменение ее состояния, свойств, формы, содержания и осуществляемых в интересах пользователей
8	Компьютерная графика	создание, хранение и обработка  моделей объектов и их изображений  с помощью ЭВМ
9	Мультимедиа-технология	программно-техническая организация обмена с компьютером текстовой, графической, аудио- и видеоинформацией
10	Эффекты	условия, которым удовлетворяют  внешние проявления (результаты) компонента