Новий сервер виводу omlx оптимізує роботу LLM на Mac завдяки безперервному пакетуванню та багаторівневому кешуванню KV між оперативною пам’яттю та SSD. Програма керується через рядок меню macOS і дозволяє закріплювати моделі в пам’яті, підтримуючи мультимодальні моделі та протокол Model Context Protocol. Інструмент робить локальні LLM практичними для кодування, зберігаючи контекст між запитами навіть після перезавантаження сервера.