DevTrends Logo

#inference

Все об инференсе нейронных сетей: от оптимизации до развертывания. Откройте для себя передовые инструменты и фреймворки, такие как vLLM и OpenVINO, для ускорения работы больших языковых моделей (LLM) и других AI-решений. Сделайте ваши модели быстрее, эффективнее и экономичнее.

Сортировать по:
Python
2 дня назад

Как запустить vLLM на железе от Huawei

Обзор плагина vllm-ascend для запуска больших языковых моделей на NPU Huawei Ascend. Разбираемся, как работает Hardware Pluggable и зачем это нужно ра...

2216 1368
Python
3 дня назад

FastVideo - Как заставить нейросети генерировать видео в десятки раз быстрее

Устали ждать, пока нейросеть сгенерирует видео? FastVideo — это фреймворк, который ускоряет процесс создания видео с помощью диффузионных моделей в де...

3694 358
Kotlin
4 дня назад

ИИ прямо в вашем кармане: RunAnywhere SDKs для мобильных приложений

Узнайте, как RunAnywhere SDKs позволяют встраивать мощные ИИ-модели прямо в мобильные приложения для iOS, Android, React Native и Flutter, обеспечивая...

10341 358
C++
6 дней назад

MediaPipe: Когда ИИ живет прямо в вашем кармане (и не только!)

Google MediaPipe — это мощный фреймворк для внедрения машинного обучения прямо на устройства. Отслеживайте позы, распознавайте жесты и анализируйте ау...

35482 6002
Python
1 неделю назад

Как приручить зоопарк нейросетей с помощью Oumi

Разбираем Oumi — открытую платформу для полного цикла работы с LLM: от подготовки данных и обучения (SFT, LoRA, RLHF) до деплоя в облака одной командо...

9285 774
Python
1 неделю назад

Как выжать максимум из Apple Silicon обзор Rapid-MLX

Обзор Rapid-MLX — самого быстрого движка для запуска LLM на Apple Silicon. Узнайте, как ускорить локальные нейросети в 4 раза и сэкономить на API Open...

2657 332
C
1 неделю назад

Как Google заставляет нейросети летать на старых смартфонах и Raspberry Pi

Разбираем XNNPACK от Google — библиотеку, которая ускоряет нейросети на смартфонах и в браузерах. Узнайте, как выжать максимум из CPU без использовани...

2349 495
Python
2 недели назад

LMCache — Turbo-режим для вашего LLM

Как ускорить работу LLM в 3-10 раз с помощью кэширования KV-кэшей? Обзор LMCache — революционного решения для оптимизации работы языковых моделей.

8369 1206
Python
2 недели назад

SGLang: Когда скорость LLM перестает быть проблемой

Устали от медленного инференса LLM? SGLang — это высокопроизводительный фреймворк, который ускоряет работу больших языковых и мультимодальных моделей...

28223 6120
Jupyter Notebook
2 недели назад

OpenVINO Notebooks — готовые рецепты для ускорения нейросетей от Intel

Коллекция готовых Jupyter-ноутбуков для изучения OpenVINO — инструментария Intel для оптимизации работы нейросетей. Практические примеры для компьютер...

3148 1020
Python
3 недели назад

Как перестать гадать и выбрать идеальную LLM под свое железо

Обзор whichllm — CLI-инструмента, который анализирует ваше железо и подбирает лучшие локальные нейросети на основе реальных бенчмарков и объема VRAM.

1009 41
Python
3 недели назад

vLLM — Turbo-режим для ваших языковых моделей

vLLM — высокопроизводительный движок для работы с большими языковыми моделями, который ускоряет их вывод в 1.7 раза и экономит память. Узнайте, как он...

80109 16833
Go
4 недели назад

Как навести порядок в зоопарке нейросетей с помощью Envoy AI Gateway

Обзор Envoy AI Gateway — нового open-source решения от создателей Envoy для управления трафиком между приложениями и LLM-провайдерами. Разбираемся, ка...

1618 248
Python
4 недели назад

vLLM-Omni - Мультимодальные модели на скорости света

Представьте, что вы можете быстро и легко развернуть любую мультимодальную модель, от текста до видео. vLLM-Omni делает это реальностью, предлагая выс...

4709 910
Jupyter Notebook
1 месяц назад

Как не изобретать велосипед при запуске моделей в облаке

Обзор официального репозитория с примерами для Amazon SageMaker: от обучения простых моделей до развертывания LLM и настройки MLOps пайплайнов.

10946 6979
Python
1 месяц назад

Nano-vLLM — когда vLLM слишком тяжёлый, а своя реализация — слишком сложная

Nano-vLLM — легковесная альтернатива vLLM для быстрого вывода LLM-моделей с чистым кодом и производительностью на уровне оригинала

13602 2131
C
3 месяца назад

Как запустить нейросеть на железке за десять долларов

Обзор PicoLM — сверхлегкого движка для запуска LLM на дешевом железе. Как запустить нейросеть на 1 млрд параметров, имея всего 45 МБ оперативки и проц...

1635 202
Python
6 месяцев назад

Faster Whisper — Когда скорость решает все в работе с речью

Устали ждать, пока OpenAI Whisper обработает ваши аудио? Faster Whisper — это то, что вам нужно: до 4 раз быстрее, экономнее и с теми же впечатляющими...

23510 1925
Python
9 месяцев назад

SuperDuperDB — Когда ваша база данных становится умной

SuperDuperDB — это инновационный фреймворк для интеграции AI-моделей прямо в вашу базу данных. Узнайте, как он упрощает создание интеллектуальных прил...

5278 538