Как запустить ИИ на Huawei Atlas | Первые шаги ServerFlow

Текстовая версия гайда - https://serverflow.ru/blog/tutorials/...
В этом пилотном видеоролике специалисты ServerFlow покажут первые шаги по запуску инференса на ускорителях Huawei Atlas 300i Duo и Ascend 910/910B. Главная сложность этих решений - непрозрачная процедура запуска. В отличие от ускорителей NVIDIA, продукты Huawei требуют тщательной настройки окружения и конвертации моделей из привычных safetensors в форматы, оптимизированные под Huawei CANN. Чтобы разобраться в этом проприетарном процессе, мы подготовили пилотный ролик. В видео на базе Ubuntu 20.04 Server мы: установим драйвер (Ascend-hdk-310p-npu-driver), установим toolkit (Ascend-cann-toolkit), установим kernel (Ascend-cann-kernels), проверим работу чипов Huawei Atlas утилитой npu-info, развернём оптимизированное окружение через Docker-контейнер, проведём тесты с использованием Python, включая базовый инференс на локальной модели GPT-2. Итогом станет полностью готовая система, в которой разрешены все зависимости и можно запускать движки инференса для локального запуска моделей ИИ. Наш сайт - https://serverflow.ru/
Блог ServerFlow - https://serverflow.ru/blog/