За последний год разговоров про on-prem AI стало заметно больше.
Компании хотят использовать ИИ для работы с внутренними документами, базами знаний, клиентскими данными.
При этом, вопрос часто упирается не только в безопасность или регуляторику.
На практике бизнесу приходится решать вполне прикладные задачи: где запускать модели, как обеспечить контроль над данными, какой инфраструктуры будет достаточно сегодня и хватит ли ее через полгода.
Классический путь какой?
Купить дорогое GPU-железо и заодно собрать команду из ML-инженеров, бэкендеров и безопасников, чтобы все это развернуть и обслуживать.
Тендеры на месяцы, капзатраты, роль оператора кластера в придачу...
В итоге, на рынке сформировался любопытный запрос — компаниям нужен собственный ИИ-контур, но без необходимости самостоятельно строить и обслуживать GPU-инфраструктуру.
И чтобы разовые капзатраты превращались в операционные, а выкладываться на закупку единовременно было не нужно.
И чтобы при этом компании получали доступ к актуальным ускорителям без всяких там полугодовых тендеров, ибо, самостоятельная закупка и развертывание обычно тянется от нескольких месяцев до года
Нынче всем нужны корпоративные ассистенты, поиск по внутренним документам и базам знаний, обработка и генерация документов, кодогенерация и другие сценарии использования LLM внутри корпоративного контура.
При этом, компании и бизнес не хотят сами выбирать в обязательном порядке между облаком и самостоятельной сборкой ИИ-инфраструктуры.
Многие нынче хотят эдакий промежуточный вариант — собственный ИИ контур, но с сервисной моделью эксплуатации.