Osaurus — Ваш локальный LLM-сервер для Mac с кремниевым сердцем

Представьте: вам нужно быстро протестировать идею с языковой моделью, но каждый запрос к OpenAI — это задержки, лимиты и вопросы приватности. Знакомая ситуация? Команда Dinoki Labs создала Osaurus — решение, которое превращает ваш Mac в мощную LLM-станцию.

Что такое Osaurus?

Osaurus — это нативный сервер для работы с языковыми моделями, созданный специально для Mac на Apple Silicon (M1 и новее). В отличие от облачных решений, он:

Работает полностью локально
Использует аппаратное ускорение MLX
Поддерживает OpenAI-совместимый API

Проще говоря, это ваш личный ChatGPT, который не зависит от интернета и работает на максимальной скорости.

Топ-5 причин попробовать Osaurus

Молниеносная работа на Apple Silicon: Благодаря оптимизации под MLX, модели работают в 1.5-2 раза быстрее, чем через трансляцию Rosetta
Полная совместимость с OpenAI API: Просто замените api.openai.com на localhost:8080 в вашем коде — и всё продолжит работать
Удобный менеджер моделей: Встроенный интерфейс для загрузки и управления моделями из сообщества mlx
Двойной интерфейс: Поддержка как OpenAI-формата, так и Ollama-совместимых запросов
Функции как в ChatGPT: Полноценная поддержка tool calling для создания интеллектуальных агентов

Технические особенности

Под капотом Osaurus использует:

MLX/MLXLLM для эффективного выполнения моделей
SwiftNIO для высокопроизводительного HTTP-сервера
SwiftUI для красивого нативного интерфейса

Архитектура проекта продумана до мелочей — от кеширования сессий до нормализации путей API.

Как это использовать?

Для разработчиков:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8080/v1", api_key="osaurus")

response = client.chat.completions.create(
    model="llama-3.2-3b-instruct-4bit",
    messages=[{"role": "user", "content": "Explain quantum computing"}]
)

Для исследователей:

Тестируйте разные модели без облачных ограничений
Экспериментируйте с длинными контекстами
Собирайте данные о производительности

Для продуктовых команд:

Создавайте прототипы с локальными LLM
Тестируйте prompt-инжиниринг
Разрабатывайте агентов с tool calling

Бенчмарки

По тестам разработчиков, Osaurus показывает лучшую производительность по сравнению с Ollama и LM Studio:

| Метрика | Osaurus | Ollama | |---------|---------|--------| | Время первого токена | 89 мс | 59 мс | | Скорость вывода | 553 симв/с | 439 симв/с |

Кому особенно пригодится?

Разработчикам macOS-приложений, которые хотят добавить AI-функции
Исследователям, работающим с открытыми LLM
Командам, заботящимся о приватности данных
Энтузиастам, экспериментирующим с локальными моделями

Как начать?

Скачайте готовую сборку
Запустите и выберите модель через интерфейс
Подключитесь к localhost:8080 из своего кода

Osaurus — это редкий пример идеально заточенного под платформу решения. Если у вас Mac на M-чипе и интерес к языковым моделям, этот проект сэкономит вам часы ожидания и даст полный контроль над рабочим процессом.

Попробуйте и убедитесь сами, на что способен ваш Mac!