Кристен Стюарт опубликовала работу об искусственном интеллекте

Актриса Кристен Стюарт [«Ультраамериканцы», «Все еще Элис», «Светская жизнь», «Персональный покупатель»] недавно представила свой режиссерский дебют — короткометражную картину «Пойдем поплаваем», в которой используется метод машинного обучения, известный как «передача стиля». В опубликованной на сайте arXiv работе рассматривается использование этой техники для придания эстетики импрессионистической живописи кадрам драматической короткометражки. Наряду с инженером Adobe Баутиком Йоши и продюсером Дэвидом Шапиро, Стюарт является соавтором документа по использованию метода машинного обучения в короткометражном фильме.

«Оживление импрессионизма с использованием нейронного переноса стиля в короткометражном фильме «Пойдем поплаваем»

Перенос стиля является поразительной, недавно разработанной методикой, которая использует нейронные сети для художественной перерисовки кадра в стиле исходного изображения. Авторы работы описали, как новый метод позволяет управлять творческим процессом для достижения желаемого результата. «Мы надеемся, что описание [процесса] даст представление о приоритетах для будущих исследований», — подчеркивают Стюарт, Шапиро и Йоши.

«Пойдем поплаваем» — поэтический, импрессионистский портрет убитого горем человека под водой. Сам фильм основывается на картине мужчины, пробужденного ото сна. Новый шаг — применение переноса стиля с использованием нейронных сетей для перерисовки ключевых сцен фильма в стиле импрессионизма.

Сама картина вызывает мысли, которые возникают в первые моменты бодрствования — замирание в промежутке между сном и реальностью, — и эта тема рассматривается в начальных и заключительных сценах, где применяется этот метод. Это непосредственно приводит к карте эмоций, которые авторы хотели применить к параметрам в алгоритме, а также к использованию более традиционных методик на стадии 2D-композитинга [создание целостного изображения путем совмещения двух и более различных изображений, созданных независимо друг от друга].

После инициализации источника информации, были определены два основных параметра: коэффициент передачи стиля и количество итераций. Увеличение количества итераций приводит к возрастанию степени передаваемой текстуры. В общем случае количество должно быть не меньше 128 для того, чтобы предотвратить появление заметных артефактов. На практике 256 итераций хватило для придания изображению желаемой стилистики; увеличение числа итераций приводило к незначительным улучшениям качества передачи стиля в субъективной оценке. Эксперименты с коэффициентом передачи стиля привели авторов работы к экспоненциальной форме для конструктивного творческого поиска. Субъективно, эта экспоненциальная форма предоставила полезную меру нереальность — u, — приблизительный способ того, как импрессионистический стиль преобразует [перерисовывает] кадр:

На снимке ниже наглядно представлено, как увеличение значения u предоставило Баутику Йоши, Дэвиду Шапиро и Кристен Стюарт контроль над более точной настройкой степени субъективно измеренного импрессионизма, присутствующего в передаче стиля.

Тизер короткометражной картины «Пойдем поплаваем»

Можно задаться вопросом — «Зачем голливудской актрисе машинное обучение и нейронные сети?», — но дело в том, что алгоритмы и техники подраздела искусственного интеллекта становятся все более распространенными. Естественно, речь идет о популяризации искусства и темах экзистенциального кризиса, а не о приложениях, которые производят еще больше бесполезного контента, предоставляя адептам Инстаграма возможность стилизации селфи под картины известных художников.