Преминаването от обучение на ИИ модели към тяхното обслужване създава хетерогенна среда за инференция, където хардуерната специализация става критична. Компании като Nvidia и AWS разделят изчислителните пътища, използвайки различни чипове за операциите по префил и декодиране. Междувременно стартъпи като Lumai представят оптични ускорители за инференция, които използват светлина вместо електричество.