Объяснение инициализации веса | Способ решения проблемы исчезающего градиента

Давайте поговорим о том, как инициализируются веса в искусственной нейронной сети, как эта инициализация влияет на процесс обучения и что ВЫ можете с этим сделать! Чтобы начать обсуждение инициализации весов, сначала обсудим, как инициализируются эти веса и как эти инициализированные значения могут негативно повлиять на процесс обучения. Мы увидим, что эти случайно инициализированные веса фактически способствуют проблеме исчезающего и взрывного градиента, о которой мы говорили в предыдущем видео. Имея это в виду, мы затем рассмотрим, что можно сделать, чтобы повлиять на процесс инициализации. Мы увидим, как инициализация Xavier (также называемая инициализацией Glorot) может помочь справиться с этой проблемой. Затем мы рассмотрим, как можно указать, как инициализируются веса для заданной модели в коде с помощью параметра kernel_initializer для заданного слоя в Keras. Ссылка на оригинальную статью Ксавье Глорота и Йошуа Бенджио: http://proceedings.mlr.press/v9/gloro...
🕒🦎 РАЗДЕЛЫ С ВИДЕО 🦎🕒 00:00 Добро пожаловать в DEEPLIZARD! — Посетите deeplizard.com для получения учебных материалов. 00:30 Помогите Deeplizard добавить временные метки к видео. Пример см. в описании. 09:42 Коллективный разум и человеческая память DEEPLIZARD. 💥🦎 РЕСУРСЫ СООБЩЕСТВА DEEPLIZARD! 🦎💥 👋 Привет, мы Крис и Мэнди, создатели Deeplizard! 👉 Посетите сайт, чтобы узнать больше обучающих материалов: 🔗 https://deeplizard.com
💻 ЗАРЕГИСТРИРУЙТЕСЬ, ЧТОБЫ ПОЛУЧИТЬ ДОСТУП К СКАЧИВАНИЮ ФАЙЛОВ КОДА 🔗 https://deeplizard.com/resources
🧠 Поддержите коллективный разум, присоединившись к коллективному разуму Deeplizard: 🔗 https://deeplizard.com/hivemind
🧠 Используйте код DEEPLIZARD при оформлении заказа, чтобы получить скидку 15% на первый заказ Neurohacker 👉 Используйте чек Neurohacker, чтобы получить скидку на курсы Deeplizard 🔗 https://neurohacker.com/shop?rfsn=648...
👀 СМОТРИТЕ НАШ ВИДЕОБЛОГ: 🔗    / deeplizardvlog   ❤️🦎 Особая благодарность следующим полиматам коллективного разума Deeplizard: Тэмми Мано Прайм Линг Ли 🚀 Повысьте уровень коллективного разума, поделившись этим видео в социальных сетях! 👀 Подпишитесь на deeplizard: Наш видеоблог:    / deeplizardvlog   Facebook:   / deeplizard   Instagram:   / deeplizard   Twitter:   / deeplizard   Patreon:   / deeplizard   YouTube:    / deeplizard   🎓 Глубокое обучение с deeplizard: Словарь глубокого обучения — https://deeplizard.com/course/ddcpailzrd
Основы глубокого обучения — https://deeplizard.com/course/dlcpailzrd
Изучайте TensorFlow — https://deeplizard.com/course/tfcpailzrd
Изучайте PyTorch — https://deeplizard.com/course/ptcpailzrd
Обработка естественного языка - https://deeplizard.com/course/txtcpai...
Обучение с подкреплением - https://deeplizard.com/course/rlcpailzrd
Генеративно-состязательные сети - https://deeplizard.com/course/gacpailzrd
🎓 Другие курсы: Основы DL Classic - https://deeplizard.com/learn/video/gZ...
Развёртывание глубокого обучения - https://deeplizard.com/learn/video/SI...
Наука о данных - https://deeplizard.com/learn/video/d1...
Торговля - https://deeplizard.com/learn/video/Zp...
🛒 Ознакомьтесь с продуктами deeplizard Рекомендации на Amazon: 🔗 https://amazon.com/shop/deeplizard
🎵 deeplizard использует музыку Кевина Маклеода 🔗    / @incompetech_kmac   ❤️ Пожалуйста, используйте знания, полученные из контента deeplizard, во благо, а не во зло.