Количество информации и энтропия дискретного ансамбля сообщения

         Министерство образования и науки Украины

Одесский национальный морской университет

Кафедра “Информационные технологии”

 

 

 

 

 

Теория информации и  кодирования

 

 

 

Расчетно-графическое задание №1

 

«Количество информации и  энтропия

дискретного ансамбля сообщения»

 

 

 

 

 

 

 

 

Выполнила:

студентка КСФ2к.3гр.

Головченко Карина

Проверил:

Ширшков А.К.

Сафонова  Н.В.

 

 

 

 

 

 

 

 

 

 

 

Одесса 2011

 

Содержание

 

1. Структура дискретного канала
1. Схема системы передачи дискретных сообщений
2. Функции блоков
3. Виды информации
2. Количество информации символов сообщения
1. Составить сообщение
2. Алфавит сообщения
3. Расчет количества информации символов алфавита
4. Свойства количества информации
3. Энтропия дискретного ансамбля сообщения
1. Расчет энтропии алфавита
2. Расчет энтропии сообщения
3. Расчет максимальной энтропии
4. Свойства энтропии, график

 

 

 

Структура дискретного  канала

 

Информационную систему передачи данных по каналу связи можно представить  в виде трех укрупненных блоков:

ИС - источник сообщения.

ЛС – линии  связи.

ПС – приёмник сообщений

 

Источник производит сообщения; кодеры источника превращают сообщения в кодовые слова, используя методы оптимального, помехоустойчивого и криптографической кодирования. Модулятор превращает бинарные коды в электрические сигналы.

Линия связи - это физическая среда  в котором распространяются сигналы: Ведущие, кабельные, радио и спутниковые  линии.

Приемник - выполняет обратное преобразование: демодулятор преобразует электрические  сигналы в бинарные коды, декодеры выполняют диагностику и коррекции  ошибок, снимают сжатия, помехоустойчивых и криптографическая защита информации.

 

 

Схема системы передачи дискретных сообщений

 

источник сообщений

 

приемник сообщений

 

Функции блоков

Источник:

АЦП (аналогово-цифровой преобразователь) - непрерывная информация преобразуется  в дискретную.

Шифратор - устанавливает криптографическую защиту данных.

Кодер ОНК (оптимальное неравномерное  кодирование) - сжимает данные, компрессия.

Кодер ЗСК (помехоустойчивое кодирование) - устанавливает защиту данных от помех.

Модулятор - преобразует цифровые данные в электрические сигналы.

Линии связи: проводные, кабельные, радио  каналы, спутниковые каналы.

 

Приемник:

Демодулятор - электрические сигналы  преобразуются в цифровые данные.

ДК (декодер) ЗСК - выявляет наличие  ошибок в данных, вычисляет адрес  ошибки и корректирует ее.

ДК ОНК - превращает ОНК в равномерный двоичный код.

Дешифратор - снимает криптографическую защиту.

ЦАП (цифро-аналоговый преобразователь) - цифровая информация преобразуется  в непрерывную.

 

Блоки источника и приёмника  программно и конструктивно объединяются:

1. демодулятор и модулятор — модем,
2. кодер и декодер — кодек.

 

Виды информации

 

1. Непрерывная информация;
2. Дискретная информация;
3. Криптографическое кодирование;
4. ОНК(двоичный);
5. Помехоустойчивое кодирование;
6. Электронные сигналы;

 

По структуре сообщения делятся  на непрерывные и дискретные. Дискретные сообщения, как средство передачи информации, нашли более широкое применение. Возможность передачи непрерывных  сообщений с помощью дискретных сигналов была доказана академиком В.А. Котельниковым. Согласно теореме отсчета  бинарные данные вполне определяется совокупностью дискретных величин. Аппроксимация с заданной точностью  непрерывных сообщений дискретными  данными называется квантованием, а  отрезок времени между двумя  соседними значениями - шагом квантования.    Абсолютное точное квантование невозможно, так же, как невозможно абсолютно  точная передача мысли. Какой бы богатым  не был словарный запас человека: мнение - непрерывная, словарь - дискретный.

   Дискретные данные в меньшей  степени подвержены влиянию помех  компьютерных сетей, искажения  дискретного сигнала легче найти  и, главное, дискретные данные  надежно и эффективно обрабатываются  ЭВМ. Поэтому в данной дисциплине  рассматриваются дискретные сообщения  и дискретные каналы связи.

 

Количество информации символов сообщения

 

Сообщение:  Мера жизни не в её длительности, а в том, как вы её использовали

Алфавит данного сообщения:

A=(М; е; р; а; _; ж; и; з; н; в; ё; д; л; т; ь; о; с; ,; к; ы; п)

 

i	a(i)	v(i)	P(ai)=vi/ls	I(ai) = -log2P(ai)	H= -p(ai)log2p(ai)
1	м	2,000	0,031	5,000	-0,156
2	е	5,000	0,078	3,678	-0,287
3	р	1,000	0,016	6,000	-0,094
4	а	4,000	0,063	4,000	-0,250
5	_	12,000	0,188	2,415	-0,453
6	ж	1,000	0,016	6,000	-0,094
7	и	6,000	0,094	3,415	-0,320
8	з	2,000	0,031	5,000	-0,156
9	н	3,000	0,047	4,415	-0,207
10	в	4,000	0,063	4,000	-0,250
11	ё	2,000	0,031	5,000	-0,156
12	д	1,000	0,016	6,000	-0,094
13	л	4,000	0,063	4,000	-0,250
14	т	3,000	0,047	4,415	-0,207
15	ь	2,000	0,031	5,000	-0,156
16	о	4,000	0,063	4,000	-0,250
17	с	2,000	0,031	5,000	-0,156
18	,	2,000	0,031	5,000	-0,156
19	к	2,000	0,031	5,000	-0,156
20	ы	1,000	0,016	6,000	-0,094
21	п	1,000	0,016	6,000	-0,094
Итого:		64,000	1,000	99,338	-4,037

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Hmax(A) = log21= 4,392  [бит/симв]

 

Hmax(X) = log64= 6[бит/симв]

 

H(X)= - ∑ p(ai) logp(ai) = -4,037[бит/симв]

 

 

 

 

 

 

 

 

 

 

 

 

 

Рис 1.: Количество информации

 

Свойства количества информации:

1. Количество информации не отрицательно

2. Чем выше вероятность, тем меньше количество информации содержит символ.

3. Если вероятность равна 1, то количество информации равно 0.

4. Аддетивность – количество информации нескольких символов, равно сумме информации в каждом из них.

 

Энтропия:

Hmax(A) = log 16

Hmax(X) = log 31

H(X)=- ∑ p(ai) logp(ai)= 8,983

 

Свойства энтропии:

1. Энтропия не отрицательна

2. Энтропия равна нулю, тогда и только тогда, когда вероятность символа =1.

3. Энтропия ограничена, где n – количество символов в сообщении H(x)<lg(n)

4. Максимальная энтропия    равна Hmax(xi)=log(n).

 

 

Рис 2.: Энтропия