Как запустить DeepSeek V4 на обычном MacBook без боли и лишних зависимостей

21 июн 2026
24,099
2,337
173
1 неделя

Когда Сальваторе Санфилиппо (тот самый antirez, создатель Redis) берется за новый проект, это всегда повод присмотреться. Его новый репозиторий ds4 — это не просто очередной обертка над llama.cpp. Это попытка сделать максимально компактный, нативный движок инференса, заточенный под конкретные модели: DeepSeek V4 Flash и PRO.

Я часто вижу, как разработчики мучаются с настройкой локальных LLM. То зависимости не сходятся, то памяти не хватает, то скорость генерации напоминает печатную машинку из прошлого века. Antirez решил пойти другим путем: вместо универсального комбайна он написал узкоспециализированный инструмент на C, который выжимает максимум из железа Apple (Metal) и NVIDIA (CUDA).

Что внутри DwarfStar

Проект DwarfStar (кодовое имя ds4) — это полностью самодостаточный движок. Ему не нужны гигабайты Python-библиотек. Если у вас есть Mac с 96 ГБ оперативной памяти или больше, вы можете запустить DeepSeek V4 Flash практически «из коробки». А если памяти меньше, у проекта есть пара козырей в рукаве, о которых я расскажу ниже.

Интересно, что автор честно признается: код написан при активном участии GPT 5.5. Это такой манифест нового времени — человек направляет идеи и отлаживает, а нейронка пишет реализацию. При этом проект опирается на наработки llama.cpp и GGML в плане квантования и форматов GGUF, что гарантирует совместимость с проверенными методами сжатия.

Главные фишки, которые меня зацепили

Стриминг с SSD

Это, пожалуй, самая практичная часть. Обычно, если модель не влезает в RAM, она просто не заводится. DwarfStar меняет правила игры. Он рассматривает быстрые SSD современных макбуков как расширение оперативной памяти.

Реклама

Движок держит в RAM только основные веса и кеш, а «экспертов» (в архитектуре MoE — Mixture of Experts) подгружает с диска по мере необходимости. Да, это медленнее, чем чистая работа в памяти, но это позволяет запустить тяжелую модель там, где раньше это было невозможно. Например, на MacBook с 64 ГБ можно вполне комфортно работать с 2-битной квантованной версией Flash.

Распределенный инференс

Если у вас завалялось два макбука, их можно объединить в кластер. DwarfStar умеет разделять слои модели между машинами. Координатор берет на себя первые слои, воркер — остальные. Данные передаются по обычному TCP.

Я видел замеры: два MacBook M5 Max через Thunderbolt 5 показывают ускорение префилла (обработки входящего текста) почти в два раза. Для генерации текста это не дает такого буста из-за задержек сети, но для «скармливания» модели огромных контекстов — это спасение.

Нативный агент и сервер

В комплекте идет ds4-server, который прикидывается OpenAI-совместимым API. Это значит, что вы можете подключить к нему привычные инструменты вроде Claude Code или локальные IDE-плагины.

Но еще круче — встроенный ds4-agent. Он работает напрямую с KV-кешем на диске. Это убирает лишние накладные расходы на пересылку данных через сокеты и позволяет мгновенно переключаться между сессиями.

Производительность на реальном железе

Автор приводит конкретные цифры, и они выглядят бодро. На MacBook Pro M5 Max (128 GB) при коротком промпте скорость генерации достигает 34 токенов в секунду. Для модели такого уровня это очень достойный результат.

M3 Max t/s

Даже на более старых M3 Max цифры не сильно хуже. Основной упор сделан на то, чтобы модель «чувствовала» себя живой, а не задумывалась над каждым словом на полминуты.

Как это пощупать

Сборка максимально простая. Для владельцев Mac:

make

Для тех, кто на Linux с картами NVIDIA:

make cuda-generic

После этого нужно скачать веса. В репозитории есть скрипт download_model.sh, который подтянет нужные GGUF-файлы с Hugging Face. Автор рекомендует начинать с q2-imatrix — это 2-битная квантовка, которая на удивление хорошо сохраняет разумность ответов DeepSeek V4.

Стоит ли оно того

Если вы занимаетесь разработкой и хотите иметь под рукой мощного ИИ-помощника, который не отправляет ваш код на чужие сервера, ds4 — отличный выбор.

Кому проект точно зайдет:

  1. Владельцам «жирных» конфигов Mac (Studio или Pro с большим объемом унифицированной памяти).
  2. Тем, кто хочет поэкспериментировать с распределенными вычислениями на коленке.
  3. Разработчикам, которым нужен быстрый локальный API для своих инструментов.

Проект пока в статусе беты, и автор предупреждает, что API может меняться, а поддержка старых моделей — выпиливаться в угоду новым. Но прямо сейчас это один из самых эффективных способов запустить DeepSeek V4 локально без лишней головной боли.

🍪 Мы используем файлы cookie и сервис аналитики Яндекс.Метрика, чтобы сайт работал лучше. Продолжая пользоваться devtrends.ru, вы соглашаетесь с обработкой данных согласно Политике конфиденциальности.