G
enby!

Найлегший AI офлайн: LM Studio + Llama 3 за 15 хв (ПК / Mac)

🚀 Llama 3 офлайн на власному ПК та Mac — установка за 15 хв! Run Llama 3 locally in LM Studio on RTX 4070 / 3090, Apple M1-M2 or even CPU — the easiest step-by-step guide (UA + EN). Усередині: бенчмарки швидкості, вимірювання споживання електроенергії. 📥 Завантажити LM Studio: https://lmstudio.ai
📦 GGUF-моделі (8B / 70B): https://huggingface.co/meta-llama/
🛠️ Залізо у відео Workstation: Ryzen 5 5500, RTX 4070 12 GB, 64 GB DDR4-3200 MacBook Pro 16″: M1 Max (24-core GPU), 64 GB RAM Server: 2× Xeon 8259CL, RTX 3090 24 GB, 512 GB DDR3-2400 ⏱️ Тайм-коди 00:00 – Intro 00:26 – Приклад використання ШІ (Siri + Llama 3) 01:04 – Дорожня карта відео 01:38 – Техніка для тестування 02:30 – Частина 1 | Встановлення LM Studio 02:39 – LM Studio на Windows 03:30 – Огляд інтерфейсу 04:15 – Завантаження моделі 05:18 – Цензура у моделі 11:18 – Яку модель обрати? 12:07 – Швидкість Llama 70B-mlx-4bit (MBP M1 Max) 13:04 – Розпізнавання зображень Llama 3.2 11B 14:13 – Скільки мільярдів параметрів? 15:13 – Найкращий Mac для ШІ 16:50 – Тестування 17:12 – Cпоживання електроенергії Llama 8B RTX 4070 18:23 – Результати бенчмарків 19:09 – Швидкість Llama 3.1 8B RTX 3090 19:26 – Швидкість Llama 3.1 8B RTX 4070 20:27 – Швидкість Llama 3.3 70B MBP M1 Max 21:02 – Чим краще за ChatGPT? 21:45 – Налаштування LM Studio 23:14 – Налаштування LM Studio Mac 23:55 – Продовження бенчмарків 23:57 – Qwen 3-30B-A3B 25:20 – Бенчмарк сервер 28:11 – Бенчмарк GTX 1050 Ti 4 GB

Смотрите также