Обсудить пилот
Горизонт AI / Заметки / Локальный ИИ

Локальная LLM для компании: как выбрать модель и где её запускать

30 октября 2026 · Горизонт AI

Локальная LLM — языковая модель, которая работает на оборудовании внутри контура компании, а не во внешнем облаке. Разберём, когда она нужна и как не ошибиться с выбором.

Когда нужна локальная модель

  • Документы и запросы нельзя передавать третьим лицам: коммерческая тайна, персональные данные, требования заказчика.
  • В контуре нет интернета или доступ к внешним сервисам запрещён службой безопасности.
  • Нужно контролировать версии модели и обновления, а не зависеть от решений сервиса.

Размер модели — под задачу

Самая большая модель — не всегда лучшая. Для классификации обращений и поиска хватает быстрых небольших моделей. Сканы, таблицы и изображения требуют мультимодальных. Крупные модели нужны для длинных документов и многошаговых сценариев — например, для ИИ-агентов. Выбирать стоит по замерам на своих данных: качество, скорость ответа и стоимость одной операции.

Оборудование

Языковым моделям нужны графические ускорители (GPU), а требования к памяти растут вместе с размером модели. Поэтому оборудование подбирают после выбора моделей, а не наоборот. Готовый программно-аппаратный комплекс снимает вопрос совместимости: серверы, модели и прикладные сервисы поставляются и проверяются вместе.

Модель — это ещё не система

Сама по себе локальная LLM — это чат, который может ответить уверенно и неверно. Для работы в компании вокруг модели нужны:

  • поиск по документам с учётом прав доступа — чтобы ответы опирались на ваши источники (RAG);
  • проверяемые правила там, где важна точность: реквизиты, суммы, сроки, нормы;
  • журнал запросов и действий и подтверждение человеком значимых решений;
  • интеграции с учётными и документными системами, чтобы ИИ работал в процессе, а не в отдельном окне.

С чего начать

С одного процесса, где есть повторяющаяся работа и понятная метрика, и пилота на прошлых данных с известным ответом. Тогда выбор модели и оборудования опирается на цифры.

Расскажите о своей задаче — предложим формат пилота.Локальная нейросеть для компании →