Искусственный интеллект в современном искусстве

По-видимому, мы уже находимся на пороге новой эры творчества, когда ИИ и художник становятся соавторами, дополняя друг друга в тех областях и «умениях», где они наиболее сильны, полагают Александра Степаненко, Сергей Каменщиков и Николай Суетин из департамента по науке и образованию Фонда «Сколково».

---

Из всех вопросов, которыми задаются люди в последние недели и месяцы, этот не принадлежит к числу наиболее очевидных. Между тем пауза, возникшая в результате пандемии, хороша именно для того, чтобы осмыслить новые реалии, которые возникли в результате активного применения цифровых технологий, но на рефлексию о которых всегда не хватало времени в обычной ситуации.

Статья написана специально для сайта Sk.ru.

Влияние новых технологий на характер творческих процессов 

Новые цифровые технологии, в частности искусственный интеллект, кардинально меняют характер не только «традиционных» технических профессий, но и проникли в художественную среду, влияют на творческие процессы, и даже возник феномен под названием цифровое искусство. 

Они уже начали играть очень важную роль в творческой деятельности, такой как музыка, архитектура, изобразительное искусство. Без использования цифровой обработки и компьютерных эффектов невозможно себе представить ни современный кинематограф, ни музыку. «Компьютер» в наши дни в прямом смысле стал и холстом, и кистью, и музыкальным инструментом. По-видимому, следующей ступенью в развитии цифрового искусства станет использование «компьютера» уже не только в качестве инструмента реализации идей человека, а в качестве самостоятельной творческой сущности. Эта точка зрения вызвала новое направление искусственного интеллекта (ИИ) под названием вычислительное творчество. ^[1]

По-видимому, мы уже находимся на пороге новой эры творчества, когда ИИ и художник становятся соавторами, дополняя друг друга в тех областях и «умениях», где они наиболее сильны.

При этом развитие цифрового искусства поднимает новый вопрос: может ли AI стать не просто инструментом художника, а самостоятельным автором? 

Для того, чтобы это понять, рассмотрим существующие методы работы с изображением и постараемся выяснить, могут ли они претендовать на самостоятельность в творчестве. 

Neural style transfer

Neural style transfer – это самая простая и популярная форма использования ИИ в творчестве.  Модель основана на стилизации изображения и построена на основе сверхточных нейронных сетей (CNN). Она внедрена в такие популярные мобильные приложения, как DeepArt и Prisma. На входе модели два изображения – шаблон-стиль и оригинал. При высокой стилизации алгоритм оптимизирует параметры таким образом, что результаты преобразования шаблона и оригинала максимально близки в промежуточных слоях CNN, которые отвечают за метаобраз. Фактор стилизации может регулироваться. Технология позволяет успешно имитировать стиль Ван Гога, Моне по библиотеке шаблонов. Каждому шаблону соответствует сет параметров предобученной нейронной сети. Технология позволяет использовать образы персонажей в рекламе и продвижении товара.  

При использовании такого рода технологий неизбежно возникает вопрос об авторском праве. Стилизация известных персонажей ставит вопрос, где проходит граница между ними и оригиналом и как защитить авторские права носителям бренда. По-видимому, ИИ сможет решить и этот вопрос, создавая собирательный образ на основании узнаваемых брендов, дополняя его “случайным шумом”. 

Изображение: https://neurohive.io/ru/papers/twingan-mezhdomennyj-perenos-chelovecheskih-portretov/

  

Результат обработки в промежуточных слоях нейронной сети также используется в технологии DeepDreamот компании Google в 2015 г. Результат применения ближе всего к стилю позднего Дали и психоделическому искусству 80-х годов. Если на вход модели подается фотография реального объекта, то результат сложно отличить от работы художника – технология проходит тест Тьюринга. Параметром модели является глубина обработки – фактически номер слоя нейронной сети. 

 

На данный момент фреймворк TensorFlow позволяет внедрить модель на локальной машине при помощи нескольких строчек кода. 

GAN

Современное искусство, основанное на технологиях искусственного интеллекта, привлекло внимание прессы и широкой общественности после продажи созданной французской арт-группой Obvious картины «Эдмона де Белами» на аукционе Christie’s 25 октября 2018 года, за 432,5 тыс. долларов». Произведение представляет собой нечеткий портрет человека, который был распечатан на холсте размером 700 x 700 мм. Он был создан с использованием GAN (Generative Adversarial Network). Технология состоит в использовании двух нейронных сетей, одна из которых генерирует псевдослучайные образы из заданного набора распределений, а вторая (CNN дискриминатор) определяет правдоподобие образа на основе тренировочного набора. CNN является бинарным классификатором и пытается ответить на вопрос: ‘образец создан человеком?’ Если ответ отрицательный, то пример маркируется как неудачный. Обучается сеть по размеченному набору из фейковых и созданных человеком образов. Обе нейронные сети связаны по замкнутом контуру.

 

Большинство первопроходцев в сфере AI Art использует именно GAN. Среди них можно отметить Анну Ридлер, которая считает, что данные сети дают наиболее визуально интересные результаты. Он создала тренировочный набор из 10000 фотографий тюльпанов в течение сезона и классифицировала их вручную. Затем использовала софт для создания видео, показывающего цветение тюльпанов. Их появление определялось волатильностью биткойна, а полоски на лепестках отражали текущую цену криптовалюты. Работа проводит исторические параллели между «тюльпановой манией», охватившей Европу в 1630-х годах, и спекуляциями на криптовалютах. 

Другой неординарный автор, использующий GAN, – Хелена Сарин; она художница в более традиционном понимании, которая пользуется GAN для преобразования и улучшения своих собственных набросков, созданных карандашом на бумаге. Сарин использует исключительно CycleGAN, вариант GAN, который выполняет преобразование одного изображения в новое. По сути, она обучает сеть преобразовывать изображения в форме одного набора данных, чтобы иметь текстуры другого набора данных. Например, она переводит свои фотографии еды и напитков в стиль своих натюрмортов и эскизов цветов. Хелена объясняет, что одним из преимуществ использования CycleGAN является то, что она может работать в высоком разрешении даже с небольшими наборами данных. 

   

«Стилизация изображений, которую использует Хелена Сарин в своем творчестве, требует художественного вкуса и таланта. Ее полотна – это симбиоз вдохновения и специфической, кропотливой настройки нейронной сети. Но эта технология постепенно становится доступной и для неподготовленного дилетанта. Порог входа снижается благодаря технологии image2image DeepFace, разработанной в Академии Наук Китая.

Модель позволяет на основе непрофессионального эскиза получить фотографию, наиболее близкую к шаблону. При этом для обучения модели используется библиотека фотографий человеческих лиц. Сама модель является ансамблем из двух алгоритмов: декодера эскиза и генеративно-состязательной нейронной сети (GAN) для сопоставления с фотографией. Библиотека фотографий, которая подается на вход модели, предварительно преобразуется в отображения – эскизы. Набросок автора конвертируется в векторное представление при помощи декодера.

Есть дополнительная революционная опция - прозрачные тени наиболее подходящего изображения могут быть наложены на исходный эскиз, что позволяет художнику дополнить его на основе типичных пропорций лица. Таким образом творчество превращается в итеративный процесс, симфонию автора и машины, которая требует минимальной подготовки человека – машине достаточно намека.

Можно предположить, что в перспективе коллекция фотографий в обучающем сете модели может быть стилизована под работы художников и целые направления. Уже сейчас полученную фотографию можно подать на вход CAN (creative adversarial network) с библиотекой полотен известных мастеров, то есть последовательно создать стилизованное полотно на основе простейшего эскиза 

CAN

Еще один тип CAN (creative adversarial networks) работает по тому же принципу, что и GAN за исключением одной важной детали. Дискриминатор имеет множество классов, каждый из которых соответствует своему стилю – импрессионисты, сюрриалисты и т.д. Таким образом, на выходе генератора остаются стилизованные образы.  Пример – картина “Летние сады” итальянского художника Давиде Квайолы, представленная на выставке “ Искусственный интеллект и диалог культур” в Эрмитаже. Давиде снял на видео цветы, которые поздним вечером колеблются от порывов ветра. Дальше работать стал не художник, а креативно-состязательная сеть – преобразуя полученную информацию в полотна французских импрессионистов. При этом палитра и движения на видео остаются неизменными: сеть создает поверх исходных данных новую живопись.

   

Скульптура

Скульптуры, созданные искусственным интеллектом, пока не так популярны, как картины, однако развитие в данном направлении все же есть.  В основном AI используется либо для создания GAN-макета, либо непосредственно для разработки объемной модели. Скульптура Скотта Итана дебютировала на выставке ‘Artist + AI: figures and forms’  и была создана в сотрудничестве с инструментами искусственного интеллекта. В данном случае AI переводит рисунки в трехмерную форму. Другой пример – технология ‘Dio’ Бена Снэлла, суть которой не раскрывается. Обучающий сет состоял из 1000 классических скульптур. По словам художника, его основная цель заключалась не в том, чтобы сделать DIO человечной. 

Резюме

Технологии Neural style transfer, Deep Dream позволяют создавать объекты, которые во многих случаях не отличаются от творений человека. Генерация случайных образов в технологии CAN добавляет спонтанность в творчество искусственного интеллекта и позволяет сделать шаг вперед по сравнению с глубокой стилизацией. Безусловно, разрыв между AI и человеком сокращается. Тем не менее, по-видимому, в ближайшее время он не будет полностью преодолён, поскольку именно человек настраивает модель, подбирает обучающие примеры и использует технологии для творчества. 

Идея о том, что машины могут быть художниками, или могут даже заменить художников, как они уже заменили некоторые профессии, выглядит пока слишком смелой.     

Искусственный интеллект представляет экстраординарные инструменты работы и новое необычное экспериментальное поле для художников в сфере визуального искусства и индустрии развлечений (дизайн игр, кино – CGI и тд), а также упрощает и автоматизирует рутинные процессы. Однако, чем более автоматизированным становится процесс создания произведений искусства, тем выше возрастает ценность идеи, стоящей за ними.

Теперь, когда вопрос исполнения, физической реализации и наличия необходимых технических навыков отпадает, новые идеи являются основной движущей силой в развитии искусства. А генерация этих идей - эта та главная функция, которую искусственный интеллект не сможет (или пока не может) отобрать у творца.