Как запустить DeepSeek V4 на обычном MacBook без боли и лишних зависимостей
Когда Сальваторе Санфилиппо (тот самый antirez, создатель Redis) берется за новый проект, это всегда повод присмотреться. Его новый репозиторий ds4 — это не просто очередной обертка над llama.cpp. Это попытка сделать максимально компактный, нативный движок инференса, заточенный под конкретные модели: DeepSeek V4 Flash и PRO.
Я часто вижу, как разработчики мучаются с настройкой локальных LLM. То зависимости не сходятся, то памяти не хватает, то скорость генерации напоминает печатную машинку из прошлого века. Antirez решил пойти другим путем: вместо универсального комбайна он написал узкоспециализированный инструмент на C, который выжимает максимум из железа Apple (Metal) и NVIDIA (CUDA).
Что внутри DwarfStar
Проект DwarfStar (кодовое имя ds4) — это полностью самодостаточный движок. Ему не нужны гигабайты Python-библиотек. Если у вас есть Mac с 96 ГБ оперативной памяти или больше, вы можете запустить DeepSeek V4 Flash практически «из коробки». А если памяти меньше, у проекта есть пара козырей в рукаве, о которых я расскажу ниже.
Интересно, что автор честно признается: код написан при активном участии GPT 5.5. Это такой манифест нового времени — человек направляет идеи и отлаживает, а нейронка пишет реализацию. При этом проект опирается на наработки llama.cpp и GGML в плане квантования и форматов GGUF, что гарантирует совместимость с проверенными методами сжатия.
Главные фишки, которые меня зацепили
Стриминг с SSD
Это, пожалуй, самая практичная часть. Обычно, если модель не влезает в RAM, она просто не заводится. DwarfStar меняет правила игры. Он рассматривает быстрые SSD современных макбуков как расширение оперативной памяти.
Движок держит в RAM только основные веса и кеш, а «экспертов» (в архитектуре MoE — Mixture of Experts) подгружает с диска по мере необходимости. Да, это медленнее, чем чистая работа в памяти, но это позволяет запустить тяжелую модель там, где раньше это было невозможно. Например, на MacBook с 64 ГБ можно вполне комфортно работать с 2-битной квантованной версией Flash.
Распределенный инференс
Если у вас завалялось два макбука, их можно объединить в кластер. DwarfStar умеет разделять слои модели между машинами. Координатор берет на себя первые слои, воркер — остальные. Данные передаются по обычному TCP.
Я видел замеры: два MacBook M5 Max через Thunderbolt 5 показывают ускорение префилла (обработки входящего текста) почти в два раза. Для генерации текста это не дает такого буста из-за задержек сети, но для «скармливания» модели огромных контекстов — это спасение.
Нативный агент и сервер
В комплекте идет ds4-server, который прикидывается OpenAI-совместимым API. Это значит, что вы можете подключить к нему привычные инструменты вроде Claude Code или локальные IDE-плагины.
Но еще круче — встроенный ds4-agent. Он работает напрямую с KV-кешем на диске. Это убирает лишние накладные расходы на пересылку данных через сокеты и позволяет мгновенно переключаться между сессиями.
Производительность на реальном железе
Автор приводит конкретные цифры, и они выглядят бодро. На MacBook Pro M5 Max (128 GB) при коротком промпте скорость генерации достигает 34 токенов в секунду. Для модели такого уровня это очень достойный результат.
Даже на более старых M3 Max цифры не сильно хуже. Основной упор сделан на то, чтобы модель «чувствовала» себя живой, а не задумывалась над каждым словом на полминуты.
Как это пощупать
Сборка максимально простая. Для владельцев Mac:
make
Для тех, кто на Linux с картами NVIDIA:
make cuda-generic
После этого нужно скачать веса. В репозитории есть скрипт download_model.sh, который подтянет нужные GGUF-файлы с Hugging Face. Автор рекомендует начинать с q2-imatrix — это 2-битная квантовка, которая на удивление хорошо сохраняет разумность ответов DeepSeek V4.
Стоит ли оно того
Если вы занимаетесь разработкой и хотите иметь под рукой мощного ИИ-помощника, который не отправляет ваш код на чужие сервера, ds4 — отличный выбор.
Кому проект точно зайдет:
- Владельцам «жирных» конфигов Mac (Studio или Pro с большим объемом унифицированной памяти).
- Тем, кто хочет поэкспериментировать с распределенными вычислениями на коленке.
- Разработчикам, которым нужен быстрый локальный API для своих инструментов.
Проект пока в статусе беты, и автор предупреждает, что API может меняться, а поддержка старых моделей — выпиливаться в угоду новым. Но прямо сейчас это один из самых эффективных способов запустить DeepSeek V4 локально без лишней головной боли.
