#llamacpp
Все о запуске мощных языковых моделей и AI-ассистентов локально с помощью llama.cpp. Откройте для себя инструменты и проекты, которые работают без интернета на вашем компьютере, обеспечивая полный контроль и конфиденциальность данных. Погрузитесь в мир оффлайн-нейросетей.
Atomic Chat запускает локальные LLM и отдаёт их как OpenAI API
Локальный AI-клиент и движок инференса: запускает открытые модели на вашем железе и отдаёт их через OpenAI-совместимый API на localhost:1337.
Как запустить нейросеть на 27 миллиардов параметров на обычном iPhone или домашнем ПК
Обзор Bonsai-demo: запуск 1-битных и тернарных LLM на 27B параметров локально. Зрение, агентские инструменты и гигантский контекст на обычном железе.
Запускаем локальные LLM без мучений и Python
Обзор shimmy — сверхбыстрого и легкого сервера на Rust для запуска локальных LLM с полной поддержкой OpenAI API без зависимостей и Python.
Как запустить LLM на смартфоне и не расплавить его - обзор Cactus Engine
Обзор Cactus — сверхбыстрого и энергоэффективного движка для запуска LLM, Whisper и Vision-моделей прямо на смартфонах и носимых устройствах.
Горячая замена LLM: Как llama-swap упрощает работу с локальными моделями
Устали перезапускать приложения, чтобы сменить LLM? llama-swap — это умный прокси на Go, который позволяет мгновенно переключаться между локальными мо...
ИИ прямо в вашем кармане: RunAnywhere SDKs для мобильных приложений
Узнайте, как RunAnywhere SDKs позволяют встраивать мощные ИИ-модели прямо в мобильные приложения для iOS, Android, React Native и Flutter, обеспечивая...
KoboldCpp Ваш персональный ИИ-ассистент в одном файле
KoboldCpp — универсальный инструмент для работы с локальными языковыми моделями, который упаковывает мощь llama.cpp в удобный интерфейс без необходимо...
Jan — ваш персональный AI без интернета и слежки
Jan — это локальный AI-ассистент с открытым исходным кодом, который работает полностью оффлайн. Узнайте, как он может заменить ChatGPT на вашем компью...
LLaVaVision — Как сделать из смартфона «умные глаза» за час
LLaVaVision — веб-приложение с открытым исходным кодом, которое превращает ваш смартфон в «умные глаза» с помощью локально работающей мультимодальной...
Tenere — Vim-подобный терминальный клиент для ChatGPT и других LLM
Tenere — это TUI-клиент для работы с LLM (ChatGPT, llama.cpp, ollama) прямо из терминала. Написан на Rust, поддерживает Vim-биндинги и сохраняет истор...
Serge — ваш персональный AI-ассистент без облачных ограничений
Обзор Serge — удобного чат-интерфейса для локального запуска LLaMA моделей без API-ключей и облачных зависимостей.
SmolChat-Android - Ваш карманный AI без интернета
SmolChat-Android позволяет запускать компактные языковые модели прямо на вашем смартфоне без подключения к интернету. Узнайте, как это работает и кому...
Reor - ваш персональный AI-ассистент для заметок, который работает локально
Reor — это локальный инструмент для управления знаниями с AI, который автоматически связывает ваши заметки, отвечает на вопросы и ищет информацию сема...