Gen AI для «Унистрой»: от сырых документов до проводок с полной объяснимостью
Проект автоматизации обработки договоров для компании Унистрой — это кейс построения промышленного NLP-конвейера, который превращает неструктурированные документы любого качества в готовые для учетной системы данные. Статья раскрывает ключевое архитектурное решение — унификацию входного потока через рендеринг в изображение и OCR, — которое позволило добиться предсказуемой работы моделей в продакшене. Мы детально разберем, как сочетание компьютерного зрения, rule-систем и дообученных трансформеров решает задачи классификации, извлечения сущностей и обеспечения объяснимости решений для бизнес-пользователей.
Проблема: сотня разнородных документов в день
Исходная задача была критичной для бизнеса: обеспечить скорость, единообразие и прозрачность обработки сотен поступающих ежедневно документов – от договоров поставки до писем. Первые попытки работать с текстовым слоем PDF и DOCX показали свою несостоятельность в продакшене: шрифтовые несоответствия, пустые текстовые слои, плавающие метрики и падающее доверие пользователей. Стало ясно: чтобы AI работал стабильно, нужно исключить энтропию на входе.
Главное решение: унификация входа через рендеринг и OCR
Было принято ключевое архитектурное решение, определившее успех всего проекта: Любой файл (скан, PDF, DOCX) превращается в PDF, каждая страница рендерится в изображение (300-400 DPI), и именно картинка отправляется в OCR (Tesseract). Источником правды становится OCR-текст. Почему это сработало:
- Одинаковый путь для всех: Исчезла зависимость от исходного формата и качества файла.
- Стабильная токенизация: Текст, полученный через OCR, всегда структурно одинаков, что критично для последующих NLP-моделей.
- Координаты слов: Появилась возможность визуально подсвечивать фрагменты, повлиявшие на решение, обеспечивая объяснимость.
- Предсказуемые метрики: Качество работы пайплайна перестало скакать от недели к неделе.
Архитектура конвейера: от документа до проводки
На практике конвейер выглядит как последовательный и надежный маршрут:
- Унификация и рендер: Конвертация в PDF и рендеринг страниц в изображение.
- Предобработка изображения: Выравнивание, шумоподавление, бинаризация, подавление табличных сеток.
- OCR: Распознавание текста с подбором параметров (psm/oem) под макет документа.
- Нормализация текста: Исправление типичных опечаток OCR, парсинг сумм, дат, НДС, маскирование конфиденциальных данных (ИНН, IBAN).
- NLP-слой (Transformers): Классификатор: Целевой (договор) vs. нецелевой (письмо, прайс). Извлечение сущностей (NER): Контрагенты, суммы, реквизиты, статьи затрат.
- Слияние с доменными правилами: Финализация результата – черновик проводки для 1С с цитатами-обоснованиями.
- Обучение и адаптация: Документы, по которым модель уверена недостаточно (ниже порога), отправляются на ревью эксперта. Его правки накапливаются и используются для планового дообучения моделей, что обеспечивает постоянное улучшение именно в проблемных для бизнеса областях.
Технический стек и эксплуатация
- Ядро: Модели на основе Transformer (BERT) для классификации и NER, дообученные на данных «Унистроя».
- OCR: Tesseract с оптимизацией под макеты.
- Оркестрация: Контейнеры (Docker), развертывание on-prem в закрытом контуре заказчика.
- Интеграция: REST API для встраивания в 1С-документооборот.
- Управление: Читаемые конфигурационные файлы для настройки приоритетов (например, «к оплате сегодня») и бизнес-правил без перевыпуска кода.
Результат для бизнеса
- Сокращение времени обработки документов в разы.
- Автоматическая классификация и извлечение реквизитов с минимальным вмешательством человека.
- Защита конфиденциальной информации за счет автоматического маскирования.
- Прозрачность и контроль: Любое решение системы может быть быстро проверено и объяснено.
- Готовая интеграция с учетными системами заказчика.
Выводы и перспективы
Проект подтвердил, что успех промышленного внедрения AI лежит не в сложности моделей, а в инженерной надежности конвейера данных. Принцип «сделать вход одинаковым, снизить энтропию, а сверху аккуратно собрать OCR и NLP» оказался ключевым. Это гарантирует предсказуемость, объяснимость и, как следствие, доверие бизнеса. Дальнейшее развитие – иерархическая классификация статей затрат, регулярное дообучение на ревью-кейсах и поддержка новых региональных форматов. Архитектура проекта универсальна и может быть адаптирована для любых отраслей с массовым документооборотом: от финансов и юриспруденции до госсектора.
