Как превратить старый ПК в персональный сервер ИИ без боли и CUDA-драйверов

Знакомая история: хочется покрутить локальные LLM, попробовать RAG на своих документах или запустить генерацию картинок, но как только доходит до дела, энтузиазм разбивается о реальность. Нужно установить Docker, подружить его с GPU, выкачать гигабайты моделей, настроить Open WebUI, прикрутить векторную базу данных... В итоге вечер проходит не за экспериментами с нейросетями, а за чтением логов ошибок в консоли.

Команда из Light Heart Labs решила, что так быть не должно. Их проект ODS (Osmantic Deployment System) — это попытка сделать установку полноценного ИИ-стека такой же простой, как установка браузера. Одна команда в терминале, и через пару минут у вас готов сервер, который умеет не только чатиться, но и рисовать, слушать голос и автоматизировать задачи.

Что внутри коробки

ODS — это не просто обертка над Ollama. Это полноценный комбайн, который собирает воедино десяток популярных опенсорсных инструментов. Вместо того чтобы настраивать каждый сервис по отдельности, вы получаете готовую инфраструктуру, где всё уже связано между собой.

Вот что разворачивается при установке:

• Интерфейс Open WebUI для общения с моделями (выглядит и ощущается как привычный ChatGPT).
• Движок llama-server для запуска моделей на вашем железе.
• Голосовые движки Whisper (распознавание речи) и Kokoro (синтез голоса).
• Инструменты для работы с данными: векторная база Qdrant и поисковик SearXNG для реализации RAG (когда нейросеть ищет ответы в ваших файлах или интернете).
• Автоматизация через n8n — можно строить сложные воркфлоу, подключая Slack, почту или базы данных.
• Генерация изображений через ComfyUI.

Интересная фишка проекта — режим Bootstrap. Обычно после запуска подобных систем приходится ждать, пока скачается модель на 5–10 ГБ. ODS сначала подтягивает крошечную модель на 1.5B параметров. Она заводится за минуту, позволяя проверить, что всё работает, пока основной «тяжеловес» качается в фоне.

Железо и автоопределение

Разработчики ODS явно запарились над тем, чтобы пользователю не приходилось гадать, какую модель потянет его видеокарта. Скрипт установки сам определяет объем видеопамяти и архитектуру (NVIDIA, AMD, Apple Silicon или даже Intel Arc) и прописывает оптимальные параметры в конфиг.

Например, если у вас RTX 4060 с 8 ГБ VRAM, система предложит Qwen 3.5 на 9B параметров. Если же вы счастливый обладатель Mac на M2 Ultra с кучей объединенной памяти, ODS выберет модель посерьезнее, вроде DeepSeek R1 или Qwen на 35B.

Для тех, у кого GPU нет совсем, предусмотрен флаг --cloud. В этом случае развернется весь интерфейс и инструменты автоматизации, но вместо локального движка система будет ходить через API к OpenAI или Anthropic.

Как это запустить

Для Linux и macOS установка сводится к одной строчке:

curl -fsSL https://raw.githubusercontent.com/Light-Heart-Labs/ODS/main/ods/get-ods.sh | bash

Пользователям Windows понадобится Docker Desktop с включенным WSL2. После этого в PowerShell нужно склонировать репозиторий и запустить install.ps1.

После завершения работы скрипта по адресу http://localhost:3000 откроется интерфейс чата, а на http://localhost:8080 (или другом порту, зависит от ОС) будет висеть API, совместимое с OpenAI. Это значит, что вы можете подключить к своему новому серверу любое стороннее приложение, которое умеет работать с LLM.

Управление через CLI

Для тех, кто предпочитает терминал, есть утилита ods. Она позволяет не лезть в Docker Compose напрямую, а управлять стеком человеческими командами:

• ods status — проверить, живы ли сервисы и как там поживает GPU.
• ods model swap T3 — быстро переключиться на другую модель (например, если вы проапгрейдили видеокарту).
• ods logs llm — посмотреть, что происходит «под капотом» у нейросети.
• ods mode hybrid — включить режим, когда простые запросы обрабатываются локально, а сложные улетают в облако.

Кому это пригодится

Проект ODS идеально подходит для двух сценариев.

Первый — это домашняя лаборатория (homelab). Если у вас стоит сервер или мощный игровой ПК, который простаивает ночью, ODS превращает его в полезный ресурс. Вы получаете приватный аналог ChatGPT и Midjourney, где данные не уходят на серверы корпораций.

Второй — разработка и прототипирование. Если вам нужно быстро собрать демо-стенд с агентами, которые умеют искать информацию в документах и выполнять действия через n8n, ODS сэкономит пару дней на настройке окружения.

Конечно, у проекта есть свои нюансы. Документация местами избыточна, а количество одновременно запускаемых контейнеров может напугать слабую систему. Но сама идея «AI-сервера в один клик» реализована здесь, пожалуй, лучше, чем во многих аналогичных проектах.

Если вы давно хотели переехать на «своё» ИИ-железо, но не знали, с какого бока подойти к настройке — ODS отличная точка входа. По крайней мере, это избавит вас от ручного написания Docker-файлов в этот вечер.