Начинайте не с модели, а с источников
Качество корпоративного поиска чаще ограничено не выбором языковой модели, а состоянием документов. Дубликаты, устаревшие версии и непонятные названия разделов одинаково мешают и обычному поиску, и RAG.
До прототипа полезно определить владельцев источников, правила обновления и признаки актуального документа. Это снижает риск того, что система уверенно перескажет старую инструкцию.
- Какие источники считаются официальными
- Как часто меняются документы
- Где хранится версия и дата обновления
- Кто может видеть каждый раздел
Соберите реальные контрольные вопросы
Набор тестов должен отражать формулировки сотрудников, а не только названия документов. Добавьте простые, неоднозначные и заведомо неразрешимые вопросы.
Для каждого вопроса зафиксируйте допустимые источники и признаки хорошего ответа. Такой набор станет основой при выборе разбиения текста, эмбеддингов и модели генерации.
Заранее определите поведение при неопределённости
Система должна уметь сообщить, что данных недостаточно, показать найденные материалы или передать вопрос эксперту. Попытка отвечать на каждый запрос обычно снижает доверие пользователей.