Стартап Subquadratic з Маямі запустив нову модель, що має вікно контексту у 12 мільйонів токенів, значно випереджаючи існуючі передові моделі. Ця архітектура використовує селективну увагу для досягнення лінійного масштабування обчислень та пам’яті, перевершуючи OpenAI за ключовими показниками пошуку при розширенні можливостей. Компанія планує незабаром збільшити цей показник до 50 мільйонів токенів.