Переосмысление создания видео с помощью Gemini 2.0 Flash

API Gemini не просто улучшает приложения; он запускает революцию в творческом самовыражении. Viggle , вирусный проект, использующий ИИ для создания видеороликов и позволяющий любому превращать фотографии в захватывающие анимации, находится в авангарде этой революции. Экспериментируя с многомодальной магией Gemini 2.0 Flash, доступной в настоящее время только в экспериментальной предварительной версии, — в частности, с ее расширенными возможностями распознавания видео и вывода звука, а также генерацией изображений с помощью Imagen 3 , — Viggle создает функции, которые позволят пользователям без труда воплощать в жизнь свои самые смелые фантазии способами, которые раньше были невозможны.

Viggle уже покорил миллионы пользователей своей способностью легко превращать статичные изображения в анимированные видеоролики с движениями всего тела, что привело к появлению вирусного контента в социальных сетях. Сосредоточившись на мемах и танцевальном контенте, Viggle предлагает мобильные приложения (iOS и Android) и веб-платформу (viggle.ai). Такие функции, как замена лиц, анимация изображений с танцевальными движениями и вставка пользователей в сцены фильмов, уже популярны среди пользователей Viggle, и теперь компания изучает новые способы вывести творчество на новый уровень.

В настоящее время компания Viggle разрабатывает прототипы двух функций, использующих возможности Gemini 2.0 Flash и Imagen 3:

• Создание виртуальных персонажей из изображений: Viggle использует Imagen 3 для генерации изображений, чтобы создать искусственный интеллект для создания персонажей. Пользователи могут задавать простые текстовые подсказки — «танцующий робот со светящимися глазами» или «пушистый радужный дракон» — и модель создаст уникальных виртуальных персонажей, готовых стать главными героями их видеороликов. Затем эти персонажи плавно интегрируются в анимационный движок Viggle, открывая вселенную возможностей для создания персонализированных историй. Представьте, что вы снимаете собственный короткометражный анимационный фильм с персонажами, созданными исключительно вашим воображением — именно такую ​​власть Viggle и Imagen 3 предоставляют вам.

• Динамическое озвучивание с помощью ИИ: Viggle также использует возможности Gemini 2.0 Flash по генерации речи и глубокое понимание видео, чтобы разработать функцию, которая добавляет контекстно насыщенные голосовые комментарии к любому видео. Это не просто монотонный голос, читающий сценарий; это рассказчик на основе ИИ, который анализирует контент видео — определяя ключевые моменты, действия и даже эмоции — для создания повествования, идеально дополняющего визуальный ряд. Будь то юмористический комментарий к танцевальному видео или эпическое описание фантастической сцены, рассказчик на основе ИИ добавляет совершенно новое измерение вовлеченности.

Интеграция генеративного искусственного интеллекта призвана улучшить пользовательский опыт в Viggle по нескольким ключевым направлениям:

• Упрощенное создание персонажей: функция генерации изображений в Imagen 3 упрощает процесс создания и настройки видеоперсонажей. Теперь пользователи могут создавать уникальных персонажей на основе своих идей, избавляясь от необходимости обладать продвинутыми навыками дизайна или полагаться на ограниченные предустановленные параметры. Этот упрощенный рабочий процесс позволяет большему числу пользователей воплотить свои творческие замыслы в жизнь.

• Более персонализированный контент: Gemini 2.0 Flash позволяет пользователям создавать высоко персонализированные видеоистории. Специально разработанные персонажи в сочетании с динамическим закадровым голосом искусственного интеллекта позволяют создавать уникальные повествования, укрепляющие связь между создателями и их аудиторией.

• Расширенные творческие возможности: сочетание виртуальных персонажей и озвучивания искусственным интеллектом расширяет творческий потенциал коротких видеороликов на Viggle. Пользователи могут исследовать новые формы повествования, выходя за рамки традиционных видеоформатов.

Компания Viggle с энтузиазмом изучает потенциал Gemini 2.0 и моделей генерации изображений для улучшения своей платформы и видит будущее, в котором ИИ органично интегрируется на каждом этапе творческого процесса, позволяя каждому стать создателем видеоконтента.