Как ИИ учится видеть мир глазами человека - разбираем модель TRIBE v2 от Meta

Представьте, что вы показываете компьютеру короткий ролик, где человек гуляет в лесу под пение птиц, а нейросеть в ответ выдает карту активности человеческого мозга в этот момент. Звучит как сценарий из «Черного зеркала», но инженеры из Meta (Facebook Research) превратили это в рабочий Python-инструмент. Проект называется TRIBE v2, и это попытка создать «цифрового двойника» зрительной и слуховой коры нашего мозга.

Что это вообще такое

TRIBE v2 (Foundation Model of Vision, Audition, and Language for In-Silico Neuroscience) — это мультимодальная модель, которая умеет предсказывать реакцию мозга на видео, аудио и текст. Если говорить проще, она берет контент, «пропускает» его через свои алгоритмы и выдает fMRI-отклик (функциональную магнитно-резонансную томографию) так, как если бы этот контент смотрел живой человек.

Зачем это нужно? В нейробиологии есть понятие in-silico экспериментов. Вместо того чтобы каждый раз сажать добровольца в дорогой и шумный томограф, ученые могут протестировать свои гипотезы на модели. А для нас, разработчиков, это пример того, как архитектура Transformer объединяет в себе зрение, слух и обработку естественного языка для решения сложнейшей биологической задачи.

Как это устроено внутри

В основе TRIBE v2 лежит трансформерная архитектура, которая связывает воедино несколько модальностей. Модель обучалась на огромных массивах данных fMRI, собранных во время того, как люди смотрели фильмы или слушали подкасты.

Интересная деталь: предсказания модели привязаны к сетке fsaverage5. Это стандартная карта коры головного мозга, состоящая примерно из 20 000 вершин. То есть на выходе вы получаете не просто абстрактные цифры, а конкретные координаты активности на 3D-модели мозга.

Кстати, при предсказании модель автоматически учитывает гемодинамическую задержку — это те самые 5 секунд, которые требуются крови, чтобы прилить к активному участку мозга после стимула. Разработчики зашили эту компенсацию прямо в логику вычислений, так что нам не нужно возиться с таймшифтами вручную.

Пробуем в деле

Для старта не нужно быть нейрофизиологом. Достаточно Python 3.11 и установленной библиотеки. Базовая установка для инференса делается одной командой:

pip install -e .

Если вы хотите не просто смотреть на массивы чисел, а увидеть красивые тепловые карты на поверхности мозга, лучше сразу ставить с зависимостями для визуализации:

pip install -e ".[plotting]"

Самый простой пример использования выглядит так:

from tribev2 import TribeModel

# Загружаем веса прямо с HuggingFace
model = TribeModel.from_pretrained("facebook/tribev2")

# Готовим данные из обычного видеофайла
df = model.get_events_dataframe(video_path="my_video.mp4")

# Получаем предсказания
preds, segments = model.predict(events=df)

print(preds.shape)  # На выходе (таймстепы, вершины мозга)

Интересно, что если скормить модели текст, она сама преобразует его в речь, сделает транскрибацию и рассчитает тайминги для каждого слова. Это позволяет анализировать, как мозг реагирует на смыслы, а не только на картинку.

Кому и зачем это может пригодиться

Первое, что приходит в голову — чистая наука, но область применения может быть шире:

Проверка гипотез в UX/UI: Как мозг реагирует на разные визуальные паттерны в интерфейсе? Конечно, модель не заменит живых тестировщиков, но может подсказать, какие элементы вызывают избыточную нагрузку на зрительную кору.
Генеративное искусство: Можно использовать отклики виртуального мозга как фидбек для генеративных нейронок, создавая контент, который «нравится» цифровой копии человека.
Обучение нейросетей: Использование биологических ограничений для улучшения архитектур компьютерного зрения. Если наш мозг обрабатывает видео определенным образом, возможно, стоит подсмотреть эти механизмы для классических CV-задач.

Что в итоге

Проект TRIBE v2 — это мощный мостик между классическим Deep Learning и нейронаукой. Код написан на PyTorch Lightning, структура проекта прозрачная: отдельно модули для обучения, отдельно визуализация (на базе PyVista и Nilearn).

Из минусов — лицензия CC BY-NC 4.0, которая закрывает путь для коммерческого использования. Это чисто исследовательский инструмент. Кроме того, предсказания делаются для «усредненного» субъекта, так что индивидуальные особенности восприятия модель пока не учитывает.

Если вам всегда было интересно, как данные превращаются в биологические сигналы, загляните в их Colab-нотбук. Там можно покрутить 3D-модель мозга и увидеть, как он «загорается» в ответ на разные кадры из видео. Это впечатляет больше, чем любые графики лоссов.