Стартап Subquadratic представил архитектуру, поддерживающую контекстное окно в 12 миллионов токенов, что намного превосходит возможности текущих флагманских моделей. Система использует селективное внимание для линейного масштабирования ресурсов, обходя решения OpenAI в тестах на точность извлечения данных при значительно меньших затратах. В планах разработчиков — создание модели с окном в 50 миллионов токенов.