Новый сервер вывода omlx оптимизирует работу LLM на Mac с помощью непрерывного пакетного режима и многоуровневого кэширования KV между ОЗУ и SSD. Приложение управляется через строку меню macOS и позволяет закреплять модели в памяти, поддерживая визуальные модели и Model Context Protocol. Инструмент делает локальные LLM пригодными для кодинга, сохраняя контекст между запросами даже после перезагрузки сервера.