RAG-ассистент по корпоративной базе знаний: что он даёт и где ломается

Регламенты, инструкции, техническая документация, протоколы и переписка накапливаются годами. В какой-то момент найти нужное становится сложнее, чем спросить коллегу, — и предприятие начинает жить на устной передаче знаний.

RAG-ассистент решает именно эту задачу: отвечает на вопросы по вашим документам и показывает, откуда взял ответ.

Как это устроено

Аббревиатура RAG означает «генерация с опорой на найденное». Работает в два шага.

Поиск. Документы разбиваются на фрагменты, каждый превращается в векторное представление и складывается в специализированную базу. На вопрос пользователя система находит фрагменты, близкие по смыслу, — не по совпадению слов, а по содержанию.

Ответ. Найденные фрагменты передаются языковой модели вместе с вопросом. Модель формулирует ответ, опираясь на них, и приводит ссылки на источники.

Ключевое отличие от «просто чата с нейросетью»: модель не сочиняет из общих знаний, а отвечает по вашим документам. И если в документах ответа нет, честный ассистент так и говорит.

Что это закрывает на практике

  • Вопросы новых сотрудников. Первые месяцы человек тратит время старших коллег на вопросы, ответы на которые есть в регламентах.
  • Поиск по технической документации. Особенно там, где документы накопились в разных форматах и системах.
  • Подготовка к встречам и проверкам. Быстро собрать, что предприятие писало по конкретной теме за последние годы.
  • Поддержка первой линии. Значительная часть обращений закрывается тем, что уже описано.

Где ломаются пилоты

Почти всегда — не в модели, а до неё.

Качество поиска

Если система нашла не те фрагменты, дальше уже неважно, насколько хороша модель: ответ будет уверенным и неправильным. Большая часть работы в проекте приходится на поиск: как резать документы на фрагменты, что делать с таблицами и приложениями, как учитывать структуру документа, как отсекать устаревшие редакции.

Мусор в документах

Три версии одного регламента, из которых действует одна. Отменённые приказы рядом с действующими. Черновики. Ассистент честно отвечает по тому, что нашёл, — и выдаёт содержание отменённого документа как актуальное.

Наведение порядка в источниках обычно и есть основная работа. Хорошая новость: она полезна сама по себе, независимо от ассистента.

Границы доступа

Не всё должно быть доступно всем. Если у документов разные права доступа, это надо учитывать при поиске, а не после: ассистент не должен пересказывать содержание документа тому, кто не имеет права его открыть.

Ожидания

Ассистент по базе знаний отвечает на вопросы по документам. Он не заменяет специалиста и не принимает решений. Пилоты, которым ставили задачу «пусть он работает вместо человека», закономерно признаются неудачными.

Про данные и периметр

Для многих предприятий вопрос стоит жёстко: документы не должны покидать контур. Это решаемо — и поиск, и генерация могут работать на инфраструктуре предприятия. Стоит дороже, чем облачный вариант, и требует более внимательного отношения к ресурсам, но технически ограничением не является.

Этот вопрос лучше задать себе до начала пилота, а не после: от ответа зависит архитектура.

Как подойти к задаче

Начинать имеет смысл с узкого участка, где люди тратят много времени на однотипный поиск, и с ограниченного набора документов, в котором порядок можно навести за разумный срок. На таком объёме видно и качество ответов, и реальную экономию.

Если экономии нет — это тоже результат, и лучше узнать о нём на пилоте.

Расскажите, на что уходит больше всего времени у ваших специалистов, — посмотрим, есть ли здесь задача для ассистента.