Top.Mail.Ru

Про ежедневную эффективность в работе в нейросетями

Когда обсуждают экономику ИИ-проекта, обычно смотрят на крупные статьи затрат:
- какой сервер выгоднее по соотношению «цена/качество»,
- какую модель брать под задачу,
- где дешевле инференс.


Без вопросов... это важно.

Но эффективность инвестиций в ИИ собирается не только через сложный выбор инфраструктуры — её хорошо добавляют и мелкие детали.


Одна из таких деталей — скиллы/навыки.

Это сохранённые инструкции, которые нейросети подгружает по имени и короткому описанию, а полный текст читает только тогда, когда он действительно нужен.

Если какая-то инструкция повторяется из запроса в запрос — например, формат релиза, правила проверки документа, шаблон таблицы, — её логичнее держать в скилле, а не вставлять в каждый промпт заново.

Что это меняет по экономике проекта:

— повторяющаяся инструкция перестаёт дублироваться в каждом запросе;
— контекстное окно не забивается тем, что не относится к текущей задаче;
— стоимость запросов становится более предсказуемой — вы один раз описали процесс и дальше не платите за его пересказ.


И если у вас в работе инструкция на 800 токенов, которую вы вставляете 10 раз в день, — это 8000 токенов в день, которые уходят не на результат, а на повторение уже сказанного.

Кстати, если написать скилл не на русском, а на английском, то расход токенов будет еще экономнее - но я пока не пробовала ))

101
Комментарии
0 / 2000
Сообщение
Тебя ждёт миллион инвесторов
Регистрируйся бесплатно, чтобы учиться у лучших, следить за инсайтами и повторять успешные стратегии
Мы используем файлы cookie, чтобы улучшить ваш опыт на нашем сайте
Нажимая «Принять», вы соглашаетесь на использование файлов cookie в соответствии с Политикой конфиденциальности. Можно самостоятельно управлять cookie через настройки браузера: их можно удалить или настроить их использование в будущем.
Про ежедневную эффективность в работе в нейросетями | БАЗАР