Tilde Research представила Aurora, новый оптимизатор с учетом рычага, который устраняет проблему «гибели» нейронов в слоях MLP. Сочетая равномерность строчных норм с ортогональностью, алгоритм достигает высокой эффективности данных и превосходит текущие рекорды в бенчмарках nanoGPT.