Токеномика: почему короткий запрос обходится дорого
Автор разобрал, как модель считает токены и куда уходят деньги в агентах: размышления, чтение проекта и отчёты оплачиваются так же, как ответ. Подписки за 20 долларов уже не хватает на фоновые задачи.
Автор разбирает, как языковая модель считает токены и почему короткое сообщение может обойтись неожиданно дорого. Текст для модели превращается в последовательность числовых идентификаторов — токенов, которыми могут быть слово, часть слова, знак препинания или пробел со словом. Деньги уходят не только на финальный ответ: размышления модели, чтение файлов проекта, запуск тестов и подробные отчёты агента оплачиваются так же, как сам результат. Поэтому агент, получив короткую задачу, способен прочитать половину проекта, попутно что-то починить и написать длинный отчёт — и всё это за счёт пользователя. Автор отмечает, что подписки за 20 долларов ему уже не всегда хватает из-за фоновых и периодических задач, а некоторые знакомые упираются в лимиты даже на тарифе за 200 долларов. Сам он на подписке за 100 долларов пока не исчерпывал лимит. Главный вывод: стоит понимать, какая доля токенов идёт на полезный результат, а какая — на то, как организовано общение с моделью.