Перехід від навчання моделей ШІ до їх обслуговування створює гетерогенний ландшафт для інференсу, де спеціалізація обладнання стає критично важливою. Компанії, такі як Nvidia та AWS, розділяють обчислювальні шляхи, використовуючи різні чіпи для операцій попереднього заповнення та декодування. Тим часом стартапи, наприклад Lumai, впроваджують оптичні прискорювачі інференсу, які використовують світло замість електрики.