Внедрение системы поддержки принятия решений на базе LLM
Компания столкнулась с проблемой эффективного использования накопленных корпоративных знаний. Сотрудники тратили значительное время на поиск информации в разрозненных источниках: внутренней документации, базах знаний, электронной почте и чатах. Это снижало продуктивность и приводило к дублированию работы.
В роли продуктового менеджера/архитектора/инициатора я:
- Сформировал гипотезу о применении LLM и подхода RAG (Retrieval-Augmented Generation)
- Курировал пилот с использованием открытых LLM
- Организовал сбор и очистку документации
- Участвовал в построении пайплайна: индексирование, поиск, ранжирование и генерация ответа
Решения и действия:
- Разработали прототип на основе RAG-архитектуры: генерация ответов LLM с опорой на извлеченные из базы знаний фрагменты
- Интегрировали систему в веб-интерфейс для удобного использования
- Настроили логирование запросов и ответов для последующего обучения и улучшения релевантности
Результаты:
- Среднее время нахождения нужной информации сократилось в 3 раза
- Увеличилось количество сотрудников, использующих систему на постоянной основе — 60 человек → 360 человек за 3 недели
- Количество повторных обращений по одним и тем же вопросам снизилось на 50%
- Точность и релевантность ответов — 80%
Выводы и инсайты:
- Подход RAG значительно эффективнее "чистой" генерации — повышается точность, снижается риск галлюцинаций
- Качество embedding'ов и структура документов напрямую влияют на успех системы — важна предварительная нормализация
- Пользователи доверяют ответам больше, когда видят ссылку на источник — сделали это обязательной частью ответа
Клиент
Корпоративная платформа
Даты реализации
2024-2025
Категория
ИИ и машинное обучение