#llmops
Статьи и обзоры по LLMOps. Узнайте, как эффективно управлять жизненным циклом больших языковых моделей: от выбора фреймворка и развертывания до мониторинга и оптимизации в production. Лучшие инструменты и практики для работы с LLM в реальных задачах.
Как дообучить 8B нейросеть на ноутбуке с видеокартой на 4 ГБ
Обзор Soup — инструмента для быстрого файнтюнинга LLM из одного YAML-конфига со стримингом слоев для видеокарт с 4 ГБ памяти.
Как собрать зоопарк из инструментов для AI-агентов в один стек
Разбираем Future AGI — open-source платформу для тестирования, мониторинга, симуляции и оптимизации AI-агентов. Все инструменты в одном контуре.
Как тестировать AI-агентов и ловить галлюцинации с помощью Giskard
Обзор Giskard v3: открытый фреймворк для тестирования, эвалов и редтиминга AI-агентов. Как ловить галлюцинации и промпт-инъекции.
Как поднять любую открытую нейросеть с OpenAI API в одну команду
Разбираем OpenLLM: инструмент от BentoML, который позволяет запустить любую открытую LLM с OpenAI-совместимым API и встроенным UI в одну команду.
Как войти в мир больших языковых моделей и не сойти с ума от обилия технологий
Полное руководство по миру LLM: от обучения и микронастройки (LoRA/QLoRA) до оптимизации инференса (vLLM/TensorRT) и квантования. Практический код и г...
Как запустить vLLM на железе от Huawei
Обзор плагина vllm-ascend для запуска больших языковых моделей на NPU Huawei Ascend. Разбираемся, как работает Hardware Pluggable и зачем это нужно ра...
Как перестать гадать на кофейной гуще при работе с LLM
Обзор Helicone — open-source платформы для мониторинга и управления LLM. Узнайте, как отслеживать расходы на токены, отлаживать цепочки агентов и упра...
Как сделать поведение LLM-приложения предсказуемым
Обзор Langfuse — опенсорсной платформы для отладки, мониторинга и оценки LLM-приложений. Узнайте, как ClickHouse и умная трассировка помогают сделать...
Как перестать переписывать код при каждой смене LLM и начать жить
Обзор Portkey AI Gateway — легковесного open-source шлюза для работы с 250+ LLM. Узнайте, как настроить фолбеки, ретраи и единый API для всех нейросет...
Как перестать гадать на кофейной гуще при разработке LLM-приложений
Обзор Opik — опенсорсной платформы для трейсинга, оценки и мониторинга LLM-приложений. Узнайте, как автоматизировать проверку галлюцинаций и отлаживат...
Как Netflix приручил хаос в машинном обучении с помощью Metaflow
Обзор Metaflow — фреймворка от Netflix для разработки и развертывания AI/ML-систем. Узнайте, как масштабировать вычисления и переносить модели в прода...
Как научить ИИ-агентов пользоваться реальными инструментами с помощью Composio
Разбираем Composio SDK — мощный инструмент для интеграции ИИ-агентов с сотнями сервисов (GitHub, Slack, Jira) без написания сложного кода для каждого...
Как перестать гадать на промптах и начать доверять нейросетям с помощью Promptfoo
Обзор Promptfoo — мощного Open Source инструмента для тестирования, оценки и обеспечения безопасности LLM-приложений. Узнайте, как превратить промпт-и...
Забудьте про спагетти-код в AI-агентах с помощью Plano
Обзор Plano — AI-native прокси-сервера на Rust, который берет на себя оркестрацию агентов, роутинг LLM и безопасность, позволяя разработчикам сфокусир...
BISHENG: Как построить корпоративный ИИ-двигатель, который действительно работает
BISHENG — открытая LLM-платформа для корпоративных приложений, которая помогает бизнесу внедрять ИИ-решения, от умных агентов до высокоточного OCR, с...
Ваш личный AI-ассистент: Как построить «Второй мозг» с LLM, RAG и агентами
Устали тонуть в своих заметках? Этот бесплатный курс покажет, как создать умного AI-ассистента, который мгновенно найдет нужную информацию в вашей лич...
Evidently: Ваш надежный штурман в мире ML и LLM моделей
Устали гадать, как ведут себя ваши ML и LLM модели в продакшене? Evidently — это open-source фреймворк, который поможет оценить, протестировать и мони...
Ragas Ваш швейцарский нож для оценки и оптимизации LLM-приложений
Устали от ручной оценки LLM-приложений? Ragas — это ваш надежный помощник для автоматизированной и объективной оценки, генерации тестовых данных и опт...
Rig - Когда Rust встречает LLM, или Как построить надежного AI-агента
Rig — это Rust-библиотека, которая упрощает создание масштабируемых и модульных приложений на базе больших языковых моделей. Забудьте о рутине интегра...
Acontext Сделайте ваших AI-агентов по-настоящему умными и самообучающимися
Acontext – платформа данных для AI-агентов, которая помогает им запоминать контекст, учиться на задачах и повышать свою эффективность. Забудьте о "глу...
AI-агенты на продакшене: Google Cloud и Agent Starter Pack ускоряют разработку
Мечтаете запустить своего GenAI-агента в продакшен, но боитесь утонуть в настройках инфраструктуры? Agent Starter Pack от Google Cloud — это готовый н...
Arch — Дирижер для ваших AI-агентов и LLM в продакшене
Устали от рутины при разработке AI-агентов? ArchGW — это интеллектуальный прокси, который берет на себя всю "сантехнику": умный роутинг LLM, гибкие gu...