Дискусія про оптимальне зберігання пам’яті ШІ пропонує вийти за межі компромісу між рекурентними прихованими станами та кешами ключів-значень. Дослідники вивчають синаптичні структури, що інтегрують робочу пам’ять безпосередньо у внутрішню архітектуру моделі для покращення навчання.