Внедрение системы поддержки принятия решений на базе LLM

Внедрение системы поддержки принятия решений на базе LLM

Компания столкнулась с проблемой эффективного использования накопленных корпоративных знаний. Сотрудники тратили значительное время на поиск информации в разрозненных источниках: внутренней документации, базах знаний, электронной почте и чатах. Это снижало продуктивность и приводило к дублированию работы.

В роли продуктового менеджера/архитектора/инициатора я:

• Сформировал гипотезу о применении LLM и подхода RAG (Retrieval-Augmented Generation)
• Курировал пилот с использованием открытых LLM
• Организовал сбор и очистку документации
• Участвовал в построении пайплайна: индексирование, поиск, ранжирование и генерация ответа

Решения и действия:

• Разработали прототип на основе RAG-архитектуры: генерация ответов LLM с опорой на извлеченные из базы знаний фрагменты
• Интегрировали систему в веб-интерфейс для удобного использования
• Настроили логирование запросов и ответов для последующего обучения и улучшения релевантности

Результаты:

• Среднее время нахождения нужной информации сократилось в 3 раза
• Увеличилось количество сотрудников, использующих систему на постоянной основе — 60 человек → 360 человек за 3 недели
• Количество повторных обращений по одним и тем же вопросам снизилось на 50%
• Точность и релевантность ответов — 80%

Выводы и инсайты:

• Подход RAG значительно эффективнее "чистой" генерации — повышается точность, снижается риск галлюцинаций
• Качество embedding'ов и структура документов напрямую влияют на успех системы — важна предварительная нормализация
• Пользователи доверяют ответам больше, когда видят ссылку на источник — сделали это обязательной частью ответа