Пока рынок обсуждает миллиардные CAPEX в инфраструктуру Nvidia, я решила заглянуть «под капот». Чтобы как инвест-аналитик оценивать ИИ-проекты не по слайдам, а по реальности, я начала собирать собственных агентов.
Мой текущий стек в разработке: AI-аудитор для экспресс-анализа инвест-инициатив и AI Content Strategist.
Я развернула локальную RAG-систему на своем ноутбуке (используя квантованные модели, чтобы вписаться в лимиты домашнего железа). План был прост: загрузить проверенные годами документы и получить экспертные ответы.
Результат первой попытки: 3 из 10.
И это был мой лучший урок по экономике ИИ.
Выяснилось, что самая «умная» модель беспомощна, если архитектура данных сырая.
Вот мои выводы на стыке денег и кода:
1. Стоимость «мусора» на входе (Garbage In — Garbage Out)
Я загрузила качественные PDF, которыми пользовалась годами. Оказалось, что без правильного чанкинга (нарезки текста) и очистки «цифрового шума», модель буквально тонет в контексте.
Инвест-вывод: Неэффективная структура данных раздувает расходы на токены и увеличивает Latency (задержку). Плохой пре-процессинг — это прямой убыток в OPEX проекта.
2. Параметризация vs Слепая вера
Магия не в размере модели, а в настройке Retrieval (этапа поиска информации). Вместо дорогого дообучения (Fine-tuning) часто достаточно ювелирно настроить системный промпт и параметры семантического поиска.
Инвест-вывод: Гибкость архитектуры важнее, чем «самая мощная модель в вакууме». Это критично при оценке масштабируемости ИИ-стартапа.
3. Цифры против иллюзий
Первая попытка выдала ответ за 13 минут. После оптимизации данных (переход с PDF на структурированный .txt) время сократилось до 3,5 минут, а текст стал в разы «живее».
Инвест-вывод: Скорость генерации — это не просто удобство, это пропускная способность системы и её конечная стоимость для бизнеса.
Мой план оптимизации (Roadmap):
Data Engineering: Переход от сырых файлов к Markdown-чанкам с метаданными.
Prompt Engineering: Внедрение техник Chain-of-Thought (цепочка рассуждений) для сложных аудиторских задач.
Benchmarking: Внедрение метрик оценки (LLM-as-a-judge), чтобы оцифровать прогресс, а не оценивать его «на глаз».
Теперь, глядя на отчеты о разработке, я вижу не абстрактные «расходы на IT», а реальную борьбу за плотность данных и эффективность вычислений. Если мы хотим сделать AI-помощника быстрым и точным, инвест-бюджет начинает расти по экспоненте — и это нужно закладывать на старте.
Коллеги из IT: какой формат данных (Markdown, TXT, JSON) вы считаете золотым стандартом для минимизации шума в RAG?
Коллеги из финансов: учитываете ли вы Latency (время отклика) при расчете окупаемости ваших ИИ-инициатив?
#ИскусственныйИнтеллект #RAG #InvestTech #DataScience #LLM #ЭкономикаИИ #Инвестиции #Analytics
<a href="https://ru.freepik.com/free-ai-image/technology-integrated-everyday-life_383220428.htm">Изображение от freepik</a>