Рассмотрите понятие информационной энтропии с точки зрения теории Клода Шеннона. Выведите формулу энтропии для дискретного случайного процесса. Объясните связь между энтропией и количеством необходимой информации для кодирования сообщения.