NVIDIA GauGAN2 превращает предложения в реалистичные фотографии

Программа на базе искусственного интеллекта GauGAN2 от NVIDIA может использовать простые письменные фразы для создания подходящего фотореалистичного изображения. Алгоритм глубокого обучения способен создавать различные сцены всего за три - четыре слова.

Сгенерированное ИИ изображение, созданное с помощью фразы “мирное озеро, окруженное высокими деревьями в туманный день”.

GauGAN-это программа на базе искусственного интеллекта, выпущенная в 2019 году, которая использовалась для превращения грубых набросков в фотореалистичные шедевры, технология, которая в конечном итоге была включена в приложение NVIDIA Canvas в начале этого года. На этот раз NVIDIA продвинула искусственный интеллект еще дальше, и теперь для создания “фотографии " программе требуется только краткое описание.

Как говорит NVIDIA, алгорит на основе так называемых генеративных состязательных сетей, лежащий в основе первой версии GauGAN, позволяет любому создавать красивые сцены, а сейчас это стало даже проще, чем когда-либо. Пользователи могут просто ввести фразу, например, “закат на пляже”, а искусственный интеллект сгенерирует соотвествующую сцену. По мере добавления слов, например, “закат на скалистом пляже” или заменив “закат” на “день” или “дождливый день”, изображение в режиме реального времени будет меняться соотвествующим образом.

«Одним нажатием кнопки пользователи могут сгенерировать карту сегментации - высокоуровневую схему, показывающую расположение объектов в сцене, - объясняет NVIDIA. - Оттуда они могут переключиться на рисование, настраивая сцену с помощью грубых обрывков, таких как небо, дерево, скала и река, позволяя умной кисти включать это всё в создаваемое изображение».

Сгенерированное искусственным интеллектом изображение, созданное с помощью фразы “тропический остров с видом на пляж с белым песком ”.

Сгенерированное искусственным интеллектом изображение, созданное с помощью фразы “бесконечные высокие горы в солнечный день”.

Кроме того, GauGan2 объединяет в себе отображение сегментации, рисование и генерацию текста в одной модели, что, по словам NVIDA, делает эту программу мощным инструментом, позволяющим создавать фотореалистичное искусство с помощью сочетания слов и рисунков. Цель состоит в том, чтобы быстрее и проще превратить видение художника в высококачественное изображение, сгенерированное ИИ. NVIDIA говорит, что по сравнению с другими современными моделями, предназначенными специально для приложений преобразования текста в изображение, GauGAN2 генерирует более разнообразный и более качественный набор изображений.

Таким образом, вместо того, чтобы рисовать каждый элемент воображаемой сцены, пользователи могут ввести краткую фразу, чтобы быстро сгенерировать ключевые объекты и тему изображения, например, заснеженный горный хребет. Затем эту отправную точку можно дополнить с помощью эскизов, чтобы сделать конкретную гору выше или добавить пару деревьев на переднем плане или облака в небе.

Хотя создание реалистичного изображения, вероятно, является наиболее впечатляющим, GauGAN2 не ограничивается только этим. Художники также могут использовать новую версию программы для изображения потусторонних и вымышленных пейзажей. NVIDIA демонстрирует сцену, которая воссоздает что-то похожее на несуществующую планету Татуин из "Звездных войн", где искусственный интеллект изначально создает сцену пустыни, но затем добавляет второе солнце.

«Это итеративный процесс, когда каждое слово, которое пользователь вводит в текстовое поле, добавляет больше деталей к изображению, создаваемому искусственным интеллектом».

Функцию преобразования текста в изображение можно протестировать на странице NVIDIA AI DEMOS >>, где любой желающий может попробовать создать свои сцены с текстовыми подсказками и дополнительно настроить их с помощью быстрых эскизов для получения более точных результатов.