Как переводить нелокализованные игры прямо на экране Android

Каждый, кто пробовал играть в японские визуальные новеллы или JRPG без официального перевода, знает эту боль. Приходится либо сидеть со смартфоном в руках и наводить камеру переводчика на монитор, либо ковыряться с хуками памяти на ПК, настраивать сторонние OCR-утилиты и молиться, чтобы кодировка текста не слетела на первой же реплике.

На мобильных устройствах и портативных консолях на базе Android ситуация долгое время была еще грустнее. Полноценных инструментов для перевода из коробки практически не существовало. Недавно наткнулся на любопытный проект под названием PlayTranslate, который закрывает эту проблему весьма изящным способом.

PlayTranslate with Persona 3 Reload

Что делает PlayTranslate

По сути, это оверлей для Android, который захватывает текст с экрана в реальном времени, распознает его и переводит на выбранный язык. Приложение поддерживает 25 исходных языков игр и умеет выдавать перевод на 59 языков, включая русский.

Проект рассчитан на две аудитории: тех, кто просто хочет пройти сюжетную игру на понятном языке, и тех, кто учит иностранный язык через игры и визуальные новеллы. Из-за этого функционал заметно глубже банального «распознал картинку и прогнал через базовый переводчик».

Главные фичи под капотом

Здесь собрано много практичных вещей, которые обычно приходится собирать из пяти разных плагинов:

1. Автоматический перевод и перевод по касанию. Можно переводить экран по тапу или включить авторежим, который отслеживает смену диалоговых окон и обновляет перевод без лишних действий.
2. Интерактивный словарь и всплывающая лупа. Если навести плавающий курсор на незнакомое слово, приложение сразу выведет словарную статью с контекстом.
3. Фуригана и пиньинь поверх иероглифов. Для изучающих японский или китайский есть режим, выводящий подсказки по чтению прямо над символами в реальном времени.
4. Глубокая интеграция с AnkiDroid и Yomitan. Можно в один клик сохранить предложение в карточку Anki вместе со скриншотом, транскрипцией, переводом, озвучкой текста и даже записанным фрагментом игрового звука. Поддерживаются словари Yomitan с тональными акцентами (pitch accent) и частотными списками.
5. Физические кнопки и разделение экрана. На портативных консолях вроде Ayn Thor или смартфонах с геймпадами можно назначить показ перевода на физическую кнопку по удержанию. Приложение дружит с двухэкранными устройствами и режимом Split Screen в Android.

Технический стек и работа без интернета

Что особенно подкупает в архитектуре проекта, так это готовность работать в чистом оффлайне. Авторы не стали делать тупую обертку вокруг веб-API, а собрали серьезный локальный стек инференса.

Вот как устроена внутренняя кухня:

• Для оптического распознавания текста (OCR) используется связка из PaddleOCR (детекторы PP-OCRv6), кастомных моделей вроде MangaOCR для вертикального текста и библиотеки OpenCV, отвечающей за предобработку контуров и трекинг.
• Для морфологического анализа и сегментации текста на лету задействованы специализированные библиотеки: Sudachi для японского, HanLP для китайского, KOMORAN для корейского и PyThaiNLP для тайского.
• Инференс локальных моделей крутится через движок MNN от Alibaba. При желании в память устройства можно загрузить компактные LLM для оффлайн-перевода: TranslateGemma 4B, Qwen 2.5 1.5B Instruct или Bergamot от команды Mozilla Firefox.

Если же есть доступ к сети и хочется максимального качества перевода с учетом контекста, в настройках можно подключить практически любой внешний API. Поддерживаются DeepL, OpenAI, Google Gemini, DeepSeek, Mistral, Groq, OpenRouter или любой произвольный совместимый сервер с кастомным base URL.

Установка и первые шаги

Приложения нет в Google Play из-за специфики работы с захватом экрана и оверлеями, поэтому ставить его нужно вручную через APK со страницы релизов репозитория.

После установки в настройках Android потребуется выдать два разрешения: доступ к записи экрана для работы OCR и специальные возможности (Accessibility), если планируете биндить перевод на физические кнопки геймпада.

Исходный код проекта открыт под лицензией GPL 3.0, написан на Kotlin и активно развивается.

Кому проект пригодится

Если вы играете в порты JRPG, эмуляторы PSP, PS2 или Switch на Android и устали ждать фанатских русификаторов, PlayTranslate решает задачу здесь и сейчас. А для тех, кто использует метод погружения (immersion learning) при изучении японского или китайского, связка с AnkiDroid и словарями Yomitan экономит кучу времени при разборе игровых диалогов.