rtk: економія у 160 разів менша за заявлену

Місяць ганяв rtk — проксі, який фільтрує вивід shell-команд заради економії токенів LLM. Його аналітика відзвітувала про 689 мільйонів заощаджених токенів (93.3%).

rtk вбудовується хуком в ide і переписує bash-команди: git status перетворюється на rtk git status, а вивід фільтрується і стискається. У базу пишуться дві цифри: скільки токенів було в сирому виводі і скільки залишилося після фільтра. Різниця оголошується «заощадженою». Виглядає дуже логічно: що більший вивід, то більша економія.

Підступ у точці відліку. claude code обмежує вивід будь-якої bash-команди 30 тисячами символів (BASH_MAX_OUTPUT_LENGTH, документація); все понад ліміт зберігається у файл, а в контекст потрапляє прев’ю ~2 кілобайти. codex взагалі обрізає вивід до 10K, вирізаючи середину.

У результаті економія від rtk майже невидима — менше $10 на тиждень. І це верхня межа при оплаті по API. На підписці, крім гарних цифр у rtk gain, ефекту взагалі не помітно. Для порівняння — заявлені 689 мільйонів коштували б за тарифом fable близько $6800.

Це я до чого — бенчмарки це складно. І rtk, і caveman — це два інструменти із сумарно 164 тисячами зірок, у яких заголовна цифра міряється строго проти солом’яного опудала, якого в реальності не існує.