ToonCrafter — Магия превращения картинок в мультфильмы

Представьте: у вас есть два кадра из мультфильма — начальный и конечный. Что, если между ними можно автоматически создать плавную анимацию, сохранив стиль и детали? Именно это и умеет ToonCrafter — нейросетевая модель от исследователей из CUHK и Tencent AI Lab, представленная на SIGGRAPH Asia 2024.

Как это работает?

ToonCrafter использует предобученные диффузионные модели для генерации видео между двумя ключевыми кадрами. Вот что особенно впечатляет:

1. Интерполяция изображений — создает плавный переход между двумя картинками
2. Работа с эскизами — позволяет добавлять промежуточные кадры даже для набросков
3. Колоризация по образцу — раскрашивает черно-белые эскизы, сохраняя стиль

Кому это нужно?

• Аниматорам — для ускорения создания промежуточных кадров
• Гейм-дизайнерам — быстрая генерация спрайтовой анимации
• Художникам — оживление концепт-артов и сторибордов
• Контент-мейкерам — создание анимированных превью

Технические особенности

• Работает с разрешением 512×320 пикселей
• Генерирует до 16 кадров
• Поддержка sketch-гида (можно задавать траекторию движения)
• Модель доступна на Hugging Face

# Быстрый старт
conda create -n tooncrafter python=3.8.5
conda activate tooncrafter
pip install -r requirements.txt

Сообщество и альтернативы

Уже появились адаптации для разных платформ:

• Colab-ноутбук от camenduru
• Версия для Windows
• Интеграция с ComfyUI

Ограничения

Разработчики предупреждают — это исследовательский проект, а не готовый продукт. Анимация не всегда получается идеальной, особенно для сложных сцен.

Стоит ли пробовать?

Если вы работаете с анимацией или просто хотите поэкспериментировать с генеративными моделями — определенно да! ToonCrafter открывает новые возможности для быстрого прототипирования анимации.

Для начала можно попробовать демо на Hugging Face или посмотреть видео-примеры.

Как вам такая технология? Видите для нее практическое применение?