Дайджест awesome-infra-for-ai (2026-07-13)

Список awesome-infra-for-ai поповнився 7 новими репозиторіями. xLLM-AI/xllm (1 467 зірок) — xLLM — це високопродуктивний механізм висновку LLM, оптимізований для різноманітних прискорювачів ШІ, особливо китайського обладнання, зосереджений на ефективному, низьколатентному та високопродуктивному обслуговуванні моделей. mozilla-ai/otari (270 зірок) — Otari — це відкритий, сумісний з OpenAI шлюз LLM, який централізує маршрутизацію, автентифікацію, забезпечення бюджету та відстеження використання для понад 40 постачальників ШІ. muxi-ai/muxi (267 зірок) — MUXI — це сервер програм ШІ з відкритим кодом, що надає виробничу інфраструктуру для розгортання та експлуатації агентів ШІ з вбудованою оркестрацією, пам’яттю, спостережуваністю та можливостями масштабування. zhongkaifu/TensorSharp (209 зірок) — TensorSharp — це нативний механізм висновку .NET, спеціально розроблений для обслуговування великих мовних моделей GGUF (LLM) і моделей текстової дифузії в стилі DiffusionGemma, що пропонує консольні, веб-орієнтовані та Op... edgee-ai/edgee (115 зірок) — Edgee — це відкритий, побудований на Rust шлюз LLM, який оптимізує трафік ШІ за допомогою стиснення токенів, маршрутизації між кількома провайдерами та спостережуваності в реальному часі. jigjoy-ai/mozaik (107 зірок) — Mozaik — це середовище виконання TypeScript для створення самоорганізованих агентів ШІ, що дозволяє їм спілкуватися, координувати дії та адаптуватися під час виконання, а не покладатися на фіксовані робочі процеси. pmady/keda-gpu-scaler (106 зірок) — Зовнішній масштабатор KEDA, який дозволяє Kubernetes автоматично масштабувати робочі навантаження GPU, безпосередньо використовуючи метрики NVIDIA NVML, підтримуючи масштабування до нуля для серверів висновку ШІ, таких як vLLM та Triton.