DevTrends Logo

#vllm

Узнайте все о vLLM: от методов ускорения и оптимизации больших языковых моделей до их применения в реальных задачах. В подборке – статьи о создании автономных ИИ-ассистентов для data science, кешировании и повышении производительности инференса для ваших проектов.

Сортировать по:
Python
2 дня назад

Как запустить vLLM на железе от Huawei

Обзор плагина vllm-ascend для запуска больших языковых моделей на NPU Huawei Ascend. Разбираемся, как работает Hardware Pluggable и зачем это нужно ра...

2216 1368
Go
2 дня назад

vLLM Semantic Router: Ваш умный диспетчер для мира LLM

Устали жонглировать разными LLM для разных задач? vLLM Semantic Router — это умный диспетчер, который автоматически направляет запросы к самой подходя...

4295 700
Python
6 дней назад

Как перестать гадать на кофейной гуще при выборе GPU и софта для LLM

Обзор InferenceX — опенсорсного проекта для непрерывного бенчмаркинга LLM. Узнайте, как софт влияет на скорость GPU и какие решения выбирают лидеры ин...

1032 185
Go
1 неделю назад

Горячая замена LLM: Как llama-swap упрощает работу с локальными моделями

Устали перезапускать приложения, чтобы сменить LLM? llama-swap — это умный прокси на Go, который позволяет мгновенно переключаться между локальными мо...

4372 339
Python
1 неделю назад

TrustGraph Как научить AI думать, а не галлюцинировать

TrustGraph — это open-source платформа для создания надежных AI-приложений, которые рассуждают, а не галлюцинируют. Она превращает разрозненные данные...

2123 243
Python
1 неделю назад

UltraRAG: Ваш билет в мир RAG-систем без лишнего кода и головной боли

UltraRAG — это фреймворк для быстрой разработки RAG-систем, который позволяет создавать сложные пайплайны с минимальным кодом, визуальным интерфейсом...

5571 424
Python
2 недели назад

LMCache — Turbo-режим для вашего LLM

Как ускорить работу LLM в 3-10 раз с помощью кэширования KV-кэшей? Обзор LMCache — революционного решения для оптимизации работы языковых моделей.

8369 1206
Jupyter Notebook
3 недели назад

Llama Cookbook - Ваш шеф-повар в мире больших языковых моделей

Погрузитесь в мир Llama с официальным Llama Cookbook от Meta! Это ваш незаменимый гид по инференсу, тонкой настройке и созданию полноценных LLM-прилож...

18333 2732
Python
1 месяц назад

Забудьте про облака Мощный оффлайн OCR с ИИ DeepSeek прямо на вашей машине

Надоело отправлять конфиденциальные документы в облако для OCR? Встречайте Local AI OCR – мощный, полностью оффлайн инструмент на базе DeepSeek-OCR, к...

735 185
Python
1 месяц назад

DeepAnalyze — Ваш автономный ассистент для data science

DeepAnalyze — первый агентный ИИ для автоматизации полного цикла data science: от подготовки данных до генерации аналитических отчетов. Открытая альте...

4178 677