Ускорение вычислений в нейронных сетях. Константин Архипенко (ИСП РАН)

Эффективные алгоритмы умножения матриц и свертки, оптимизация графов вычислений, квантизация нейронных сетей. Лектор - Константин Архипенко, сотрудник Института системного программирования РАН, преподаватель трека "Искусственный интеллект" IT Академии Samsung на ВМК МГУ. Это лекция - часть цикла вебинаров "Samsung Innovation Campus - Russia" для тех, кто уже освоил основы нейронных сетей и задач по CV/NLP и двигается дальше. Авторы - специалисты Samsung, Института системного программирования РАН и других компаний. Ссылка на презентацию лекции - https://drive.google.com/file/d/1vFhC...
Используемые материалы: Roofline presentation (Berkeley): https://crd.lbl.gov/assets/pubs_preso...
GEMM for CPU examples: https://github.com/flame/how-to-optim...
GEMM convolution for GPUs: https://docs.nvidia.com/deeplearning/...
, https://github.com/NVIDIA/cutlass/blo...
State-of-the-art GEMM for CPU (paper): https://arxiv.org/pdf/1702.02017.pdf
DFT guide: https://betterexplained.com/articles/...
Winograd convolution (theory): https://arxiv.org/pdf/1910.13367.pdf
Efficient Winograd implementation and benchmark: https://www.cse.ust.hk/~weiwa/papers/...
TensorFlow graph optimization: https://research.google/pubs/pub48051/
Quantization: https://arxiv.org/pdf/1712.05877
NVIDIA TensorRT: https://docs.nvidia.com/deeplearning/...
Дополнительно: Deep compression: https://arxiv.org/pdf/1510.00149
Variational dropout: https://arxiv.org/pdf/1701.05369.pdf
EfficientNet: https://arxiv.org/pdf/1905.11946
Ссылка на все лекции цикла Samsung Innovation Campus по искусственному интеллекту - https://innovationcampus.ru/ai-lectures
Бесплатные курсы по нейронным сетям - https://stepik.org/org/srr