Как улучшить RAG на 10%? Гибридный поиск (Векторы + BM25) в Qdrant и N8N
Сталкиваетесь с галлюцинациями и нерелевантными ответами в вашей RAG-системе? В этом видео я покажу, как значительно повысить качество поиска по базе знаний с помощью гибридного подхода, комбинируя векторный поиск и поиск по ключевым словам (алгоритм BM25). Мы шаг за шагом разберем весь процесс в N8N: от загрузки документов и их «умной» нарезки до создания двух типов векторов (плотных и разреженных) и их загрузки в векторную базу данных Qdrant. А самое главное — я проведу детальный тест и наглядно покажу, как техника контекстуализации каждого чанка с помощью LLM увеличивает точность ответов более чем на 10%! Если вы хотите вывести свою RAG-систему на новый уровень, это видео для вас. ➡️ Получить все workflow, модели и подробные инструкции из видео можно в нашем закрытом клубе автоматизаторов: https://tg.pulse.is/VibeAISchoolBot?s...
Тайм-коды: 0:00 — Вступление: Проблемы RAG и решение через гибридный поиск 1:03 — Обзор workflow в N8N для создания векторов 1:32 — Шаг 1: Загрузка и нарезка документа на чанки 1:53 — Шаг 2: Контекстуализация чанков с помощью LLM (Enrichment) 4:54 — Шаг 3: Подготовка к BM25: расчет среднего количества слов в чанке 6:36 — Шаг 4: Создание двух типов векторов: Dense (OpenAI) и Sparse (BM25) 7:58 — Шаг 5: Настройка коллекции в Qdrant для гибридного поиска 10:19 — Как устроен процесс тестирования и оценки (Evaluation) 12:38 — Результаты тестов: Сравнение гибридного поиска с контекстуализацией и без 13:59 — Анализ результатов: где контекстуализация дает максимальный прирост 16:45 — Как еще можно улучшить качество поиска: алгоритмы нарезки, метаданные и фильтрация 18:38 — Выводы: Почему гибридный поиск — это must-have для вашей RAG-системы 19:35 — Подписывайтесь и получайте готовые решения! #RAG #LLM #AI #Qdrant #VectorSearch #HybridSearch #BM25 #N8N #OpenAI #RetrievalAugmentedGeneration #ИскусственныйИнтеллект
