Скорошни проучвания показват, че прилагането на матрична ортогонализация към операциите по четене от паметта на mLSTM значително подобрява резултатите при задачи с шумно асоциативно припомняне. Този подход предотвратява доминирането на силните характеристики над слабите, предлагайки по-ефективна алтернатива на механизма за внимание при трансформерите.