Как заставить DeepSeek и Qwen летать на одной видеокарте: знакомство с AngelSlim

Вы когда-нибудь пробовали запустить современную LLM на 235 миллиардов параметров на одной домашней или даже серверной GPU? Если да, то наверняка сталкивались с тем, что видеопамять заканчивается быстрее, чем модель успевает поздороваться. Сегодня огромные нейросети — это круто, но их «аппетиты» к железу часто становятся непреодолимым барьером для разработчиков.

Инженеры из Tencent решили эту проблему, выпустив AngelSlim — комплексный набор инструментов для сжатия моделей, который превращает «тяжеловесов» в стройных атлетов без потери их интеллектуальных способностей.

Что такое AngelSlim и зачем он вам нужен

Если говорить просто, AngelSlim — это швейцарский нож для оптимизации нейросетей. Он объединяет в себе самые современные методы квантования (сжатия весов), спекулятивного декодирования (ускорения генерации) и прунинга (удаления лишних связей).

В отличие от разрозненных скриптов на GitHub, здесь всё собрано в единый фреймворк. Вам не нужно быть доктором наук по математике, чтобы перевести модель в формат FP8 или INT4 — AngelSlim делает это практически в одну команду.

Кому это полезно?

1. ML-инженерам, которым нужно втиснуть модель в ограниченный бюджет GPU.
2. Backend-разработчикам, создающим API на базе нейросетей и желающим снизить задержки (latency).
3. Энтузиастам, которые хотят запускать топовые модели вроде DeepSeek-R1 или Qwen3 на собственном железе.

Ключевые фишки, которые меня зацепили

1. Всеядность: от текста до видео

AngelSlim не ограничивается только чат-ботами. Он поддерживает четыре основных направления:

• LLM (Large Language Models): DeepSeek-V3/R1, Qwen3, Llama, Hunyuan.
• VLM (Vision Language Models): Понимающие изображения и документы (например, Qwen3-VL).
• Diffusion Models: Генераторы картинок и видео (FLUX, Hunyuan-Video, SDXL).
• Audio Models: Системы распознавания и синтеза речи.

2. Спекулятивное декодирование с Eagle3

Это, пожалуй, самая «магическая» часть. Суть метода в том, что маленькая и быстрая модель-помощник предугадывает следующие токены, а большая модель их только проверяет. В AngelSlim реализован алгоритм Eagle3, который позволяет ускорить генерацию текста в 1.4–1.9 раза.

Представьте: ваша модель начинает отвечать почти в два раза быстрее, при этом качество текста остается идентичным оригиналу. В моей практике это критично для пользовательских интерфейсов, где никто не любит ждать «печатающийся» текст.

3. Экстремальное квантование

Проект предлагает не только стандартные INT8 или FP8. Ребята из Tencent выкатили собственные алгоритмы:

• TEQUILA: Тернарное квантование.
• Sherry: Алгоритм для сжатия до невероятных 1.25 бита!
• NVFP4: Поддержка новейшего формата FP4 для видеокарт NVIDIA последнего поколения.

Благодаря этому можно запустить, например, Qwen3-235B на мощностях, которые раньше казались недостаточными.

Как это работает на практике

Установка максимально простая:

pip install angelslim

Если вы хотите быстро квантовать модель (например, Qwen3-1.7B) в формат FP8, достаточно одного конфига и команды:

python3 tools/run.py -c configs/qwen3/fp8_static/qwen3-1_7b_fp8_static.yaml

А вот как выглядит процесс квантования прямо в Python-коде:

from angelslim.engine import Engine

slim_engine = Engine()
# Загружаем модель
slim_engine.prepare_model(model_name="Qwen", model_path="Qwen/Qwen3-1.7B")
# Выбираем метод сжатия (динамический FP8)
slim_engine.prepare_compressor("PTQ", default_method="fp8_dynamic")
# Запускаем магию
slim_engine.run()
# Сохраняем результат
slim_engine.save("./output_slim_model")

Согласитесь, выглядит гораздо приятнее, чем ручное переписывание слоев модели.

Что по цифрам? (Бенчмарки)

Разработчики предоставили детальные отчеты, и они впечатляют. Например, для серии Qwen3 использование спекулятивного декодирования Eagle3 увеличивает пропускную способность (throughput) с 381 до 642 токенов в секунду для модели 1.7B.

В задачах квантования потери точности минимальны. Модель Hunyuan-A13B в формате FP8 показывает практически те же результаты в тестах на математику (AIME 2024) и логику, что и исходная версия в BF16, но занимает в два раза меньше места.

Развертывание: vLLM и SGLang из коробки

Мало сжать модель, её нужно еще и эффективно запустить. AngelSlim предлагает готовые скрипты для интеграции с топовыми движками вывода (vLLM и SGLang). Вы можете поднять OpenAI-совместимый API сервер одной командой:

bash scripts/deploy/run_vllm.sh --model-path ./output_slim_model --port 8080

Это позволяет использовать вашу оптимизированную модель в любых существующих приложениях, просто поменяв URL эндпоинта.

Стоит ли пробовать?

Если вы работаете с локальными нейросетями, мой ответ — однозначно да.

Плюсы:

• Универсальность: Один инструмент для текстов, звука и картинок.
• Актуальность: Поддержка самых свежих моделей (DeepSeek-R1, Qwen3).
• Производительность: Реальное ускорение за счет спекулятивного декодирования.

Минусы:

• Документация местами на китайском (хотя основная часть переведена на английский).
• Для некоторых специфических методов квантования может потребоваться самое свежее железо (например, для FP4).

AngelSlim — это отличный пример того, как сложные технологии оптимизации становятся доступными для обычных разработчиков. Проект активно развивается (обновления выходят буквально каждую неделю), так что самое время добавить его в закладки или поставить звезду на GitHub.

Ссылка на репозиторий: Tencent/AngelSlim

А как вы решаете проблему нехватки видеопамяти при работе с LLM? Делитесь своим опытом в комментариях!