Локальная LLM для компании: как выбрать модель и где её запускать
Локальная LLM — языковая модель, которая работает на оборудовании внутри контура компании, а не во внешнем облаке. Разберём, когда она нужна и как не ошибиться с выбором.
Когда нужна локальная модель
- Документы и запросы нельзя передавать третьим лицам: коммерческая тайна, персональные данные, требования заказчика.
- В контуре нет интернета или доступ к внешним сервисам запрещён службой безопасности.
- Нужно контролировать версии модели и обновления, а не зависеть от решений сервиса.
Размер модели — под задачу
Самая большая модель — не всегда лучшая. Для классификации обращений и поиска хватает быстрых небольших моделей. Сканы, таблицы и изображения требуют мультимодальных. Крупные модели нужны для длинных документов и многошаговых сценариев — например, для ИИ-агентов. Выбирать стоит по замерам на своих данных: качество, скорость ответа и стоимость одной операции.
Оборудование
Языковым моделям нужны графические ускорители (GPU), а требования к памяти растут вместе с размером модели. Поэтому оборудование подбирают после выбора моделей, а не наоборот. Готовый программно-аппаратный комплекс снимает вопрос совместимости: серверы, модели и прикладные сервисы поставляются и проверяются вместе.
Модель — это ещё не система
Сама по себе локальная LLM — это чат, который может ответить уверенно и неверно. Для работы в компании вокруг модели нужны:
- поиск по документам с учётом прав доступа — чтобы ответы опирались на ваши источники (RAG);
- проверяемые правила там, где важна точность: реквизиты, суммы, сроки, нормы;
- журнал запросов и действий и подтверждение человеком значимых решений;
- интеграции с учётными и документными системами, чтобы ИИ работал в процессе, а не в отдельном окне.
С чего начать
С одного процесса, где есть повторяющаяся работа и понятная метрика, и пилота на прошлых данных с известным ответом. Тогда выбор модели и оборудования опирается на цифры.