Serge — ваш персональный AI-ассистент без облачных ограничений

03 авг 2025

Это архивный репозиторий и может быть устаревшим.

5,694
386
47
11 месяцев

Когда облачные API — не вариант

Знакома ситуация, когда хочется поэкспериментировать с языковыми моделями, но:

  • API ChatGPT требует регистрации и оплаты
  • Политика конфиденциальности вызывает вопросы
  • Нужен полный контроль над данными

Именно для таких случаев создан Serge — open-source решение, которое позволяет развернуть чат-интерфейс к LLaMA-моделям прямо у вас на компьютере. Никаких сторонних сервисов, только ваше железо и ваши данные.

Что под капотом?

Serge объединяет несколько мощных технологий в удобный "пакет":

  • SvelteKit для быстрого и отзывчивого интерфейса
  • FastAPI + LangChain для бэкенда
  • llama.cpp под капотом для эффективного запуска моделей на CPU
  • Redis для хранения истории чатов

Интересный факт: проект полностью упакован в Docker-контейнеры, что делает его развёртывание элементарным даже для новичков.

Три причины попробовать Serge прямо сегодня

  1. Полная приватность — все диалоги остаются на вашем устройстве, никаких логов в облаке
  2. Гибкость моделей — поддерживает любые модели, совместимые с llama.cpp (Alpaca, LLaMA, GPT4All и другие)
  3. Простота развёртывания — достаточно Docker и нескольких команд
docker run -d \
    --name serge \
    -v weights:/usr/src/app/weights \
    -v datadb:/data/db/ \
    -p 8008:8008 \
    ghcr.io/serge-chat/serge:latest

Технические особенности

Архитектура проекта продумана для максимальной производительности:

Реклама
  • Слой представления: SvelteKit + Tailwind CSS
  • Бизнес-логика: FastAPI с интеграцией LangChain
  • Хранение данных: Redis для сессий и SQLite/PostgreSQL для постоянных данных
  • AI-движок: llama.cpp с Python-биндингами

License

Где это можно применить?

  • Локальный помощник для разработчиков
  • Образовательные проекты с полным контролем контента
  • Эксперименты с fine-tuning моделей
  • Частные корпоративные чат-боты

Вердикт

Serge — отличный выбор для:

  • Разработчиков, ценящих приватность
  • Исследователей AI, которым нужен контроль над средой
  • Компаний, работающих с конфиденциальными данными

Проект активно развивается (более 5.7k звёзд на GitHub) и предлагает действительно уникальное сочетание простоты и функциональности.

Хотите попробовать? Первый запуск займёт буквально 5 минут:

# docker-compose.yml
services:
  serge:
    image: ghcr.io/serge-chat/serge:latest
    container_name: serge
    restart: unless-stopped
    ports:
      - 8008:8008
    volumes:
      - weights:/usr/src/app/weights
      - datadb:/data/db/

volumes:
  weights:
  datadb:

После запуска просто откройте http://localhost:8008 и начните общение с вашим персональным AI.

🍪 Мы используем файлы cookie и сервис аналитики Яндекс.Метрика, чтобы сайт работал лучше. Продолжая пользоваться devtrends.ru, вы соглашаетесь с обработкой данных согласно Политике конфиденциальности.