Запускаю DeepSeek на домашнем сервере с видеокартой. Подписка на Chat GPT больше не нужна.
Вы когда-нибудь задумывались, как запускать нейросети прямо у себя на домашнем сервере или обычном компьютере — без облаков, подписок и ограничений и совершенно бесплатно? В этом видео я покажу, как настроить свой сервер на базе Proxmox, подключить видеокарту Nvidia RTX 3060, установить Ollama, подключить WebUI и протестировать популярные LLM-модели, такие как DeepSeek, Gemma (gemini от Google) LLaMA 3 и Qwen прямо на CPU и GPU. Поговорим, на сколько выгоднее своя нейросеть чем готовые Gemini, Claude, ChatGpt, DeepSeek. Сравним несколько моделей и я приведу свой топ моделей для повседневного использования. Набор с хорошей материнской платой MACHINIST intel xeon 2650v4 32Gb ddr4: https://shp.pub/78n7je?erid=2SDnjeQnJA2
Компрессор: https://alii.pub/70zpkj?erid=2SDnjdsqQRx
Радиатор на m2 ssd: https://alii.pub/70zpzb?erid=2SDnjerBc6v
Стяжки для кабелей: https://alii.pub/70zpxd?erid=2SDnjeLXrU2
Поддержать канал копеечкой можно на Бусти. Подписчикам уровня Junior Developer и выше, ролики доступны раньше, чем на Ютубе. Присоединяйтесь: https://boosty.to/donex
Подписчики канала в телеграме, получают чуть больше контента, я иногда пишу свои мысли по разным поводам и иногда делаю анонсы и выкладываю информацию, не подходящую под формат канала.Присоединяйся, в общем :) Наш канал в телеге: https://t.me/DonExCode
Наш чатик в телеге: https://t.me/DonExCodeChat
Наш дискорд: / discord Тайм коды: 00:00 - Вступление 00:14 - Устанавливаем видеокарту 01:35 - Оперативка покинула чат 02:41 - Про Ollama 03:42 - Запуск на процессоре 06:30 - Установка Ollama 08:39 - Open WEB UI 11:26 - Запуск на видеокарте 13:06 - Сравнение моделей 14:30 - Есть ли выгода?
