Внедрение системы поддержки принятия решений на базе LLM

Система поддержки принятия решений на базе LLM

Внедрение системы поддержки принятия решений на базе LLM

Компания столкнулась с проблемой эффективного использования накопленных корпоративных знаний. Сотрудники тратили значительное время на поиск информации в разрозненных источниках: внутренней документации, базах знаний, электронной почте и чатах. Это снижало продуктивность и приводило к дублированию работы.

В роли продуктового менеджера/архитектора/инициатора я:

  • Сформировал гипотезу о применении LLM и подхода RAG (Retrieval-Augmented Generation)
  • Курировал пилот с использованием открытых LLM
  • Организовал сбор и очистку документации
  • Участвовал в построении пайплайна: индексирование, поиск, ранжирование и генерация ответа

Решения и действия:

  • Разработали прототип на основе RAG-архитектуры: генерация ответов LLM с опорой на извлеченные из базы знаний фрагменты
  • Интегрировали систему в веб-интерфейс для удобного использования
  • Настроили логирование запросов и ответов для последующего обучения и улучшения релевантности

Результаты:

  • Среднее время нахождения нужной информации сократилось в 3 раза
  • Увеличилось количество сотрудников, использующих систему на постоянной основе — 60 человек → 360 человек за 3 недели
  • Количество повторных обращений по одним и тем же вопросам снизилось на 50%
  • Точность и релевантность ответов — 80%

Выводы и инсайты:

  • Подход RAG значительно эффективнее "чистой" генерации — повышается точность, снижается риск галлюцинаций
  • Качество embedding'ов и структура документов напрямую влияют на успех системы — важна предварительная нормализация
  • Пользователи доверяют ответам больше, когда видят ссылку на источник — сделали это обязательной частью ответа
Клиент

Корпоративная платформа

Даты реализации

2024-2025

Категория

ИИ и машинное обучение