Энтропия и измерение информации

В этом видео рассказываю про информацию и её измерение. Станет понятно, почему энтропия - это мера неопределенности. Также я приведу пример, в котором стратегия добывания максимального количества информации на каждом шаге помогает составить более оптимальный алгоритм. Рассмотрим применения энтропии в глубоком обучении. Следующий ролик про кросс-энтропию - самый распространенный лосс для классификации. Подписывайся :) vk: https://vk.com/leshanbog
twitter:   / leshanbog   instagram:   / leshanbog   0:00 - Приветствие 0:37 - Мотивация определения количества информации 2:10 - Обоснование определения 2:43 - Достаточность 3:46 - Необходимость 6:21 - Пример: выбор действия для максимизации полученной информации 12:16 - Интуиция для обобщения определения на случайные величины 14:33 - Обобщение определения количества информации 15:55 - Энтропия 17:30 - Мера неопределенности 18:41 - Примеры использования в глубоком обучении 20:22 - Заключение