Кеширането на промпти е от съществено значение за агентите за кодиране, за да поддържат производителността чрез повторно използване на KV-тензори по време на повторни сесии с голям контекст. Прилагането на ефективни стратегии за кеширане помага за намаляване на латентността и разходите при повторно изчисляване на токени.