Как подружить Unreal Engine с современными нейросетями без лишней боли

Представьте ситуацию: вы делаете игру и хотите добавить в неё NPC, который не просто выдает три заготовленные фразы, а реально понимает игрока. Или, что ещё интереснее, вы хотите, чтобы нейросеть помогала вам собирать уровни прямо в редакторе, расставляя пропсы по текстовому описанию.

Обычно это превращается в квест по написанию оберток для API, борьбе с асинхронными запросами в C++ и попыткам не сойти с ума от обновлений моделей каждые две недели. Проект UnrealGenAISupport от разработчика prajwalshettydev берет эту рутину на себя. Это плагин, который прокидывает мостик между движком Unreal Engine и зоопарком современных LLM.

Что это за проект

UnrealGenAISupport — это open-source плагин для версий UE от 5.4 до 5.7, который объединяет в одном месте работу с OpenAI, Claude, DeepSeek, Google Gemini и даже Grok от Илона Маска. Автор явно задался целью сделать «швейцарский нож» для геймдизайнеров, которым нужно быстро внедрить генеративный ИИ в свои проекты.

Интересно, что проект не ограничивается простым чатом. В него завезли поддержку MCP (Model Context Protocol), что позволяет нейросетям буквально «видеть» ваш проект и управлять им.

Главные фишки, которые стоит пощупать

1. Управление редактором через MCP

Это, пожалуй, самая перспективная часть. С помощью протокола MCP вы можете подключить Claude Desktop или Cursor прямо к запущенному редактору Unreal. В README есть примеры, где нейросеть спавнит объекты, меняет их трансформации, накладывает материалы и даже генерирует блюпринты.

Конечно, в списке известных проблем честно указано, что ноды в блюпринтах пока могут соединяться криво, а отмены действий (Undo/Redo) нет. Но для прототипирования или автоматизации скучных задач — это уже рабочий инструмент.

2. Поддержка DeepSeek и «рассуждающих» моделей

Сейчас все обсуждают DeepSeek R1 за его умение «думать» перед ответом. В плагине поддержка R1 уже есть. Разработчик предупреждает: так как такие модели отвечают долго, стандартные таймауты Unreal в 30 секунд не подходят. Придется подкрутить конфиги в DefaultEngine.ini:

[HTTP]
HttpConnectionTimeout=180
HttpReceiveTimeout=180

3. Структурированные ответы (Structured Outputs)

Если вы хотите, чтобы нейросеть возвращала не просто текст, а данные, которые игра может распарсить (например, статы нового предмета или координаты для спавна врагов), плагин поддерживает JSON-схемы. Вы скармливаете модели схему, и на выходе получаете чистый JSON, который легко превратить в структуру данных внутри UE.

Пример на C++ выглядит лаконично:

UGenAISchemaService::RequestStructuredOutput(
    TEXT("Сгенерируй список из 3 врагов для ледяной локации"),
    MySchemaJson,
    [](const FString& Response, const FString& Error, bool Success) {
       // Здесь парсим Response
    }
);

4. Мультимодальность и 3D

В платной Pro-версии автор предлагает интеграцию с ElevenLabs (голос) и Meshy (генерация 3D-моделей). Но даже в бесплатной версии достаточно инструментов, чтобы начать: есть поддержка Vision API (анализ скриншотов из игры нейросетью) и базовые функции для работы с китайскими моделями вроде Qwen, что сейчас актуально для многих.

Как это устроено внутри

Плагин написан на C++, но максимально дружелюбен к любителям Блюпринтов. Почти все функции выведены в узлы (Nodes), так что собрать ИИ-агента можно вообще без написания кода.

Архитектура простая: плагин не тянет за собой тяжелые внешние зависимости. Для работы MCP используется небольшой Python-сервер, который общается с редактором через сокеты. Это значит, что вам нужно будет включить Python Editor Script Plugin в настройках проекта.

Кому это пригодится

Я вижу два основных сценария:

1. Для разработчиков NPC и квестов: Если вам нужно быстро проверить гипотезу с «умными» диалогами, этот плагин сэкономит неделю разработки сетевого слоя.
2. Для инструментов автоматизации: Если вы устали вручную расставлять тысячи деревьев или создавать однотипные материалы, можно попробовать делегировать это Claude через MCP.

Личные наблюдения и нюансы

Проект живой, обновления прилетают часто, но нужно понимать — это не готовое решение «из коробки» для релиза в Steam. Это мощный фреймворк для разработки.

Кстати, автор честно говорит о безопасности: не зашивайте API-ключи прямо в билд игры. Для тестов в эдиторе ключи берутся из переменных окружения (например, PS_OPENAIAPIKEY), а для продакшена придется поднимать свой бэкенд-прокси, чтобы игроки не украли ваш баланс в OpenAI.

Если вы давно хотели попробовать LLM в Unreal, но не знали, с какого бока подойти к API — UnrealGenAISupport отличная точка входа.

Посмотреть код и примеры можно в репозитории: prajwalshettydev/UnrealGenAISupport А для быстрого старта есть тестовый проект, где всё уже настроено.