Шартты энтропия

Шартты энтропия. Толық энтропия. Сигналдар.

Энтропия - дөңес функция, себебі бинарлы хабарламалардың  энтропиясы 1 битке тең болғанда  максимум мәнге ие болады.

Шартты энтропия

Екі ансамбльді қарастырайық:

Х = (х1, x2, ... ,xr),

Y = (y1, y2, ..., ys),

 (X, Y)  D.

Сәйкесінше ықтималдықтары р(хi) және p(yj),  ал шартты ықтималдықтары pxi(yj), pyj(xi),

мұндағы i = 1, 2, ... , r ; j = 1, 2, ... , s.

Р^rs

 

. . .

 

Р^r2

 

Р^r1

 

x^r

 



 



 



 



 



 

Р^2s

 

. . .

 

Р²²

 

Р²¹

 

x²

 

Р^1s

 

. . .

 

Р¹²

 

Р¹¹

 

x¹

 

y^s

 

. . .

 

y²

 

y¹

 

Х

 

Y

Хабарламалар ансамблінің жазылуы

 

 

мұндағы    - хабарлама

          - ықтималдықтары

Шартты энтропия

 

Дискретті ансамбльдер:

• X энтропиясы:

 

 

 

•             хабарламасына қатысты        ансамблінің щартты энтропиясы :

 

 

•       ансамбліне  қатысты               ансамблінің шартты энтропиясы

Шартты энтропияның қасиеттері

 

 

 

 

1. Шартты энтропия шартсыз энтропиядан асып кетпейді:

 

2. Жүйелер өзара байланысты болғанда:

 

 

 

3. X и  Y  тәуелсіз болса, онда 

 

 

 

 

Толық энтропия

 

Қасиеттері:

• Толық энтропия симметриялы функция

 

 

 

2. Оң болады

 

• Сигнал (лат. signum — белгі) — берілген хабарды тасымалдайтын(алып жүретін) физикалық процесс.
• Электр сигналы дегеніміз — параметрлері берілетін хабар заңдылығымен өзгеретін электр тогы немесе электр кернеуі. Телекоммуникация саласында сигнал электр сигналы түрінде қолданылады.
• Бірінші ретті сигнал — берілетін хабарды алып жүретін электр сигналының алғашқы (көбіне төменгі жиіліктегі) түрі. Мүмкіндігіне қарай (жақын жерлерге) сигналдың алғашқы (бірінші) түрі өзгертілмей, сол күйінде байланыс жолдарымен таратылады, мысалы, қаланың телефон байланысында.

 

Сигналдар

• Арналық сигнал. Электр сигналын қашық жерлерге таратқанда ол байланыс жолы бойында әр түрлі себептермен өшіп, әлсірейтіндіктен және хабар таратуды арзандату, бір байланыс жолымен бірнеше хабар беріп тығыздау үшін бірінші ретті (алғашқы) сигналды түрлендіріп өзгертуге тура келеді. Өзгерту хабар тасымалдайтын байланыс жолдарына карай жасалынады. Осындай байланыс жолдарымен берілетін өзгертіліп, түрлендірілген сигналды арналық сигнал дейді.
• Детерминал сигнал (лат. determinarе — анықтау) — уақыт бойынша өзгерісі алдын ала белгілі болатын сигнал. Детерминал сигнал уақыт бойынша белгілі зандылықпен өзгереді. Олар үздіксіз, дискретті, периодты, периодсыз болып бөлінеді. Детерминал сигналдың қарапайым түрлері: гармоникалық сигнал немесе импульстер тізбегі.
• Курделі сигнал — әр түрлі заң бойынша таратылатын сигналдардың жиынтыгынан тұратын сигнал. Кез келген күрделі сигнал гармоникалық сигналдардың (әр түрлі жиіліктердегі) жиынтығынан түрады. Мысалы, төртбүрышты, үшбүрышты, экспоненциалды, т.б. сигналдар.

 

• Дискретті сигнал — бөлек-бөлек үзілісті сигналдардан тұратын сигнал. Үзіліссіз (аналогты) сигналдарды кодалау, яғни сандық сигналдарга айналдыру үшін оларды үзіп, дискреттейді. Дискретті сигналдар периодты, периодсыз болып және түрлеріне қарай тіктөртбүрышты, үшбұрышты, қоңырау тәрізді, экспоненсиалды болып бөлінеді.
• Тасушы сигнал — байланыс жолдарын тығыздап, бір байланыс жолымен бірнеше хабар сигналдарын беру және сигналдардың таратылу жағдайын жақсарту үшін оларды бір спектр ауқымынан басқа спектр ауқымына ауыстыру үшін пайдаланатын сигнал. Тасушы сигнал параметрлерінің біреуі хабар сигналының заңдылыгына сәйкес өзгереді.
• Үзіліссіз сигнал — уақыт бойынша бөлінбей жүретін ток күшімен (немесе

• кернеумен) берілетін сигнал. Үзіліссіз сигналдар: детерминал немесе кездейсоқ сигналдар және периодты немесе периодсыз сигналдар болып бөлінеді. Қарапайым үзіліссіз сигнал — синусоидалы, гармоникалық сигнал.
• Кездейсоқ сигналдар — белгілі бір заңдылықпен өзгермейтін, белгіленген уақытта қандай болатынын алдын ала айтуга болмайтын сигнал. Кездейсоқ сигналдар тұрақты және тұрақсыз, эргодикалық немесе эргодикалық емес және Марковтық немесе Марковтық емес болып бөлінеді.
• Тұрақты кездейсоқ сигналдар — ықтималдық тығыздыгы уақыт өлшемінің басталатын жеріне байланысты болмайтын кездейсок сигналдар. Тұрақты кездейсоқ сигналдардың сипаттамалары уақыт бойынша тұрақты болады.

 

Сигналдар дискретті, үздіксіз және дискретті-үзіліссіз  болып бөлінеді. Мұндай детерминделген сигналдардың математикалық модельдері мынадай түрлері бар:

 

. 1. Үзіліссіз аргументтің үзіліссіз функциясы 

2. Үзіліссіз аргументтің дискретті функциясы 

 

 

 

 

3. Дискретті  аргументтің үзіліссіз функциясы

 

4. Дискретті аргументтің дискретті функциясы