Netflix представила архитектуру своей платформы для обслуживания LLM, которая сочетает Triton и vLLM для управления сложными рабочими нагрузками. Интегрируя эти движки со своей инфрастуруктурой на базе JVM, компания успешно обеспечивает баланс между производительностью моделей и надежностью процессов развертывания.