П О Р Т А Л                            
С Е Т Е В Ы Х                          
П Р О Е К Т О В                        
  
Поиск по сайту:
                                                 
Главная

О проекте

Web-мастеру
     HTML & JavaScript
     SSI
     Perl
     PHP
     XML & XSLT
     Unix Shell

MySQL

Безопасность

Хостинг

Другое








Самое читаемое:

Учебник PHP - "Для Чайника".
Просмотров 181159 раз(а).

Иллюстрированный самоучитель по созданию сайтов.
Просмотров 79985 раз(а).

Учебник HTML.
Просмотров 76179 раз(а).

Руководство по PHP5.
Просмотров 47152 раз(а).

Хостинг через призму DNS.
Просмотров 54660 раз(а).

Подборка текстов стандартных документов.
Просмотров 46893 раз(а).

Учебник PHP - Самоучитель
Просмотров 53236 раз(а).

Документация на MySQL (учебник & справочное руководство)
Просмотров 53829 раз(а).

Внешние атаки...
Просмотров 43486 раз(а).

Учебник PHP.
Просмотров 38975 раз(а).

SSI в примерах.
Просмотров 28853 раз(а).



 
 
| Добавить в избранное | Сделать стартовой | Помощь





Глава 3. Кодирование информации
3.2. Энтропия.

Энтропия источника информации с независимыми и равновероятными сообщениями есть среднее арифметическое количеств информации сообщений

H = - sum  Pk*log2Pk
k=1..N

где Pk - вероятность появления k-го сообщения. Другими словами, энтропия есть мера неопределенности ожидаемой информации.

П р и м е р. Пусть имеем два источника информации, один передает двоичный код с равновероятным появлением в нем 1 и 0, другой имеет вероятность 1, равную 2-10, и вероятность 0, равную 1-2-10. Очевидно, что неопределенность в получении в очередном такте символа 1 или 0 от первого источника выше, чем от второго. Это подтверждается количественно оценкой энтропии: у первого источника H = 1, у второго приблизительно H = -2-10*log22-10 , т.е. значительно меньше.




[ Общее Содержание ]   

[ Назад ] [ Содержание раздела ] [ Вперед ]



Если Вы не нашли что искали, то рекомендую воспользоваться поиском по сайту:
 





Copyright © 2005-2016 Project.Net.Ru