Tilde Research представи Aurora, нов оптимизатор с отчитане на ливъридж, който решава проблема с умиращите неврони в MLP слоевете. Чрез комбиниране на униформеност на редните норми с ортогоналност, методът постига висока ефективност на данните и надминава съвременните постижения в тестовете за оптимизация на nanoGPT.