CoupleGenerator — как нейросеть создает ваши фото с идеальной парой

10 Jan, 2020

Репозиторий давно не обновлялся

Последнее обновление было 6 лет назад.

457
🔱 61
👥 15

Представьте: вы загружаете свое фото и получаете снимок, где вы счастливо улыбаетесь рядом с человеком, которого... никогда не встречали. Звучит как сюжет из «Черного зеркала»? Это и есть CoupleGenerator — любопытный эксперимент на стыке компьютерного зрения и развлечений.

Что скрывается за необычным названием

Проект CoupleGenerator — это своеобразный «генератор пар», созданный исследователем для развлечения. Его суть проста:

  • Нейросеть анализирует фотографии реальных пар
  • Учится воспроизводить характерные черты «парных» снимков
  • Генерирует новые изображения, комбинируя ваше фото с вымышленным партнером

Пример тренировочных изображений

Автор честно признается: проект создавался как сюрприз для друга, который хотел «сфотографироваться» с объектом своей симпатии. Никакой коммерческой цели — просто эксперимент в духе «а что если...».

Как это работает технически

Под капотом проекта:

Реклама
  • Используется архитектура pix2pix (GAN для преобразования изображений)
  • Модель обучена на датасете свадебных фото с китайского поисковика Baidu
  • Для обработки лиц применялась дополнительная предобработка

Интересный момент: автор специально переобучил модель (overfitting), чтобы она хорошо работала именно на конкретных примерах, а не «вообще на всех фотографиях». Для серьезных задач такой подход не подходит, но для разового развлечения — вполне.

Результаты после 8800 шагов обучения

Кому может быть интересен этот проект

  1. Любителям компьютерного зрения — как пример нестандартного применения GAN
  2. Разработчикам — код открыт и может стать основой для собственных экспериментов
  3. Всем, кто интересуется AI — чтобы понять, как нейросети «видят» человеческие отношения

Важное уточнение: автор предупреждает, что использованные данные не подходят для коммерческих проектов. Если хотите создать что-то серьезное — собирайте собственный датасет легальным способом.

Как попробовать самому

Для запуска потребуется:

Tensorflow==1.1
pretrain weight для VGG

После установки зависимостей можно:

  1. Скачать тренировочные изображения
  2. Запустить autotest.sh
  3. Поэкспериментировать с собственными фото

Вывод: стоит ли игра свеч

CoupleGenerator — это:

✅ Интересный пример «игрушечного» применения нейросетей ✅ Хорошая основа для собственных экспериментов с GAN ❌ Не готовый продукт для коммерческого использования

Если вам просто любопытно, как работает генерация парных фото — проект стоит изучить. Для серьезных задач придется дорабатывать архитектуру и собирать собственные данные.

Автор сейчас занимается более серьезными задачами компьютерного зрения в рамках PhD. За его новыми работами можно следить в профиле на GitHub.

🍪 Мы используем файлы cookie и сервис аналитики Яндекс.Метрика, чтобы сайт работал лучше. Продолжая пользоваться devtrends.ru, вы соглашаетесь с обработкой данных согласно Политике конфиденциальности.