rtk: экономия в 160 раз меньше заявленной

Месяц гонял rtk — прокси, который фильтрует вывод shell-команд ради экономии токенов LLM. Его аналитика отчиталась о 689 миллионах сэкономленных токенов (93.3%).

rtk встраивается хуком в ide и переписывает bash-команды: git status превращается в rtk git status, а вывод фильтруется и ужимается. В базу пишутся две цифры: сколько токенов было в сыром выводе и сколько осталось после фильтра. Разница объявляется «сэкономленной». Выглядит очень логично: чем больше вывод, тем больше экономия.

Подвох в точке отсчёта. claude code ограничивает вывод любой bash-команды 30 тысячами символов (BASH_MAX_OUTPUT_LENGTH, документация); всё сверх лимита сохраняется в файл, а в контекст попадает превью ~2 килобайта. codex вообще обрезает вывод до 10K, вырезая середину.

В результате экономия от rtk почти невидима — меньше $10 в неделю. И это верхняя граница при оплате по API. На подписке, кроме красивых цифр в rtk gain, эффекта вообще не заметно. Для сравнения — заявленные 689 миллионов стоили бы по тарифу fable около $6800.

Это я к чему — бенчмарки — это сложно. И rtk, и caveman — это два инструмента с суммарно 164 тысячами звёзд, у которых заголовочная цифра меряется строго против соломенного чучела, которого в реальности не существует.