Сценарий искусственный интеллект

Искусственный интеллект умеет создавать завязки историй, логичные цепочки событий и диалоги. Правда, произведения часто получаются сюрреалистичными: медсестры пекут пироги из пациентов, а женские персонажи жалуются на отросшие усы. В статье разберемся, понимают ли машины смысл созданных историй и стоит ли сценаристам переживать, что они останутся без работы. Бонус в конце: мы попытались сгенерировать сценарий с помощью ИИ. Посмотрите, что получилось.

Создание текстов с помощью искусственного интеллекта относится к направлению Natural Language Processing (NLP), которое занимается обработкой естественного языка. Это одна из областей машинного обучения, и кроме генерации текстов в него входит распознавание и синтез речи, которые используются в голосовых помощниках, машинный перевод и анализ текстов.

Первые языковые генераторы, которые составляли новостные заметки на основе данных, появились в 2014 году. Агентство Associated Press начало публиковать корпоративные отчеты о доходах, полностью написанные компьютерными программами, а Yahoo Sports выпускали автоматизированную аналитику футбольных матчей. Тексты генерировались с помощью ПО, разработанного стартапом Automated Insights, но это были сухие справки, без намека на художественность.

В 2015 году ученые Технологического университета Джорджии презентовали нейросеть Scheherazade-IF (interactive fiction), которая могла генерировать собственные рассказы на основе загруженных в нее текстов. В качестве эксперимента искусственному интеллекту предложили проанализировать около 200 историй об ограблениях и походах в кино, а затем составить собственную историю на эту тему.

Нейросеть выявляла в предложенных примерах повторяющиеся ключевые события, отмечала их, как важные для истории, и запоминала. Например, при ограблении это были угрозы, страх, наличие оружия, а при походе в кино — покупка билетов и попкорна. Также Scheherazade-IF анализировала последовательность и взаимосвязь событий (сначала нужно купить билет, а потом зайти в кинозал), поэтому ее собственные истории получались логичными.

Проблемой оставалось то, что ИИ не может использовать средства художественной выразительности, например метафоры или сравнения. Кроме того, Scheherazade-IF не понимала смысла составляемых предложений. Кстати, эта задача остается нерешенной до сих пор.

В конце 2015 года Илон Маск и Сэм Альтман запустили проект OpenAI — коммерческую платформу, которая занимается разработками в сфере искусственного интеллекта. Главным принципом компании стала открытость, так как создатели не хотели допустить, чтобы AI-разработки были сосредоточены в руках конкретной страны или правительства. Одним из проектов компании стала нейросеть GPT, которая училась генерировать тексты, предугадывая каждое слово.

На основе разработок OpenAI в 2018 году компания Google запустила нейронную сеть Bidirectional Encoder Representations from Transformers (BERT), которая сначала проходит этап pre-training — это долгий процесс тренировки на огромном количестве текстов, содержащих миллиарды слов. Кроме словарных значений, в pre-training входит работа с синтаксисом и контекстом предложений.

Когда нейросеть получает базовые навыки распознавания языка, то ее можно быстро дообучить под разные задачи, одной из которых как раз является языковое моделирование. Для решения задачи нейросеть изучает миллиарды слов и их расположение в грамматически правильных предложениях, после чего может предсказывать следующее слово в тексте самостоятельно.

В 2018 году OpenAI выпустила версию GPT-2 (а в 2019 году — GPT-3), которая сейчас является самой большой нейросетью для работы с естественными языками. Она имеет более 1,5 млрд параметров, с помощью которых обрабатываются входные данные, и способна создавать целые страницы связного текста, причем для этого ей требуется всего один этап обучения, в отличие от BERT.

Олег Седухин, специалист по NLP, рассказал, как работает такая нейросеть:

«На самом деле система по архитектуре не такая сложная, как может показаться, просто она обучается на огромном объеме данных. В среднем для обучения используют около 600 Гб текстов.

Сейчас используется разновидность нейронных сетей, называемых трансформерами. Каждое слово в тексте трансформер представляет как набор чисел. Затем эти наборы чисел определенным образом обмениваются информацией друг с другом несколько десятков раз. Полученные с помощью этих вычислений результаты нейросеть может использовать для разных задач, в том числе генерации текстов на разные темы.

Входными данными при этом является “затравка” — начало текста, которое нужно продолжить, например: “Каков ответ на главный вопрос жизни, Вселенной и всего такого?” Сеть попытается продолжить этот текст и дать ответ. При этом она не высказывает собственное мнение, просто воспринимает затравку как начало какого-то текста, уже написанного человеком, и пытается предугадать, что будет дальше».

Механизм предугадывания слов в предложении можно увидеть при наборе письма в Яндекс.Почте. Сервис обучается в ходе использования и предлагает варианты автозаполнения в реальном времени на основе паттернов, которые чаще всего использует владелец аккаунта:

Точно также работает генерация слов в сервисе «Балабоба», только в гораздо большем масштабе. Команда Яндекса создала собственную языковую модель YaLM (Yet another Language Model), вдохновляясь примером GPT-3 от компании OpenAI. Она обучается на множестве страниц рунета, включая Википедию, новости, книги и открытые записи пользователей в соцсетях. Единственная задача сервиса — предсказывать каждое следующее слово таким образом, чтобы получалось логичное и грамматически правильное предложение.

«Балабоба» тоже умеет составлять сценарии, но в небольшом объеме. Например, она в собственном стиле смогла продолжить начало оригинального сценария фильма «Криминальное чтиво»:

Если сравнить результат с оригинальным диалогом, который происходит между персонажами, то можно заметить, что в целом нейросети удалось уловить суть тарантиновских диалогов:

И в том и в другом варианте непредсказуемые и абсолютно несвязные на первый взгляд высказывания складываются в абсурдный, но увлекательный диалог. Именно эту особенность искусственного интеллекта чаще всего используют при создании сценариев для короткометражек.

Профессия 

Data Scientist

Научитесь выявлять закономерности в данных и создавать модели для решения реальных бизнес-задач.

Узнать больше

Режиссер Оскар Шарп и разработчик из Google Гудвин Росс создали нейросеть по имени Benjamin. Она относится к типу искусственного интеллекта, который используется для распознавания текста. Чтобы обучить Benjamin, Росс Гудвин загрузил в него десятки научно-фантастических сценариев из интернета: в основном это были фильмы 1980-х и 1990-х годов.

Первый фильм, снятый по сценарию Benjamin, — это «Sunspring», научно-фантастическая короткометражка для фестиваля Sci-Fi London 2016 года:

В сценарии были бессвязные диалоги: например, главная героиня жаловалась, что у нее отрастают усы. Но некоторое время спустя Benjamin научился создавать более логичные истории и сам стал генерировать фильмы. Нейросеть выбирала актеров, сюжет и спецэффекты. На фестиваль Sci-Fi London 2018 года Шарп и Росс представили черно-белую короткометражку «Zone Out», которую полностью создал искусственный интеллект:

На YouTube-канале Calamity AI студенты Университета Чапмана Джейкоб Ваус и Эли Вайсс выложили несколько короткометражек, сценарии к которым написаны с помощью ИИ. Например, «Solicitors» — история о девушке, которая встретила на пороге дома свидетеля Иеговы с необычной историей:

Илм «Date Night» — короткометражка о странном свидании парня и девушки, которые обсуждают, реальны ли они или находятся внутри фильма:

Авторы использовали Shortly Read, программное обеспечение на основе GPT-3. Джейкоб Ваус сочинял короткие истории или придумывал безумные завязки, а остальное дописывала нейросеть. Автору оставалось наблюдать, как будет развиваться эта история.

Сценарист и комик Китон Пэтти сгенерировал с помощью искусственного интеллекта сценарий эпизода «Черного зеркала». Нейросети пришлось посмотреть 1 тыс. часов сериала, чтобы сгенерировать результат:

Перевод:

ИНТ. ДОМ С 90 КОМПЬЮТЕРАМИ

ОТЕЦ и СЫН-ПОДРОСТОК едят на кухне будущего. Они едят горчицу — единственную еду, доступную в будущем. На кухне пахнет сгоревшим роутером, потому что это будущее.

СЫН-ПОДРОСТОК
Надоело есть. Хочу целоваться в интернете. Мама бы мне разрешила.

ОТЕЦ
Мамы больше нет. Она была приложением, и я удалил ее, потому что она жила не по-британски.

СЫН-ПОДРОСТОК
Давай нажмем на кнопку, чтобы вернуть маму. Мамам веселее, когда они живы.
Мы видим кнопку рядом с пятьюдесятью кухонными компьютерами. На ней написано: «СДЕЛАТЬ МАМУ».

ОТЕЦ
Но она острая.
Кнопка и правда острая. Если нажать на нее, порежешься.

СЫН-ПОДРОСТОК
Затем-то нам и нужны секс-дроны.
Сын бросает дрона на кнопку. Появляется МАМА.

МАМА
Где я? Кто я? Что я?
Почему кнопка такая острая? Я плохая мать.

ОТЕЦ
Сын, у нее отвратительная память.

СЫН-ПОДРОСТОК
Я ошибся, поступая как God.com.
Мама, пожалуйста, убейся снова.
Сын бросает в маму секс-дрон. Он проходит сквозь нее.

ОТЕЦ
Это мама-голограмма из виртуального измерения. Она даже горчицу есть не может.

МАМА
Неправда. Я совершенно реальна.
Мама прикасается к горчице, но та превращается в кетчуп. Это значит, что мы не в будущем, а в прошлом. Компьютеры — это камни. Секс-дроны — секс-камни. На дворе 1997 год.

Блейк Снайдер в своей книге о сценарном мастерстве «Спасите котика» советует авторам задавать при написании сценария правильные вопросы: «Когда начинается каждая новая сцена, вы должны знать, в чем заключается ее конфликт и кто выступает противоборствующими сторонами. У каждого персонажа есть собственные задачи. В чем они заключаются? Как они могут вступать в противоречие с интересами других персонажей?»

Кроме интересного сюжета и диалогов, в хорошей истории есть конфликт, характеры, эмоциональный багаж и развитие персонажей. Искусственный интеллект пока не способен анализировать такие категории и вряд ли вообще когда-нибудь сможет. Чтобы создать сложного персонажа, необходимо понимать смысл создаваемого текста, но со времен Scheherazade-IF нейросети так и не научились это делать.

Олег Седухин, специалист по NLP

«Это открытая, еще не решенная проблема в машинном обучении, и на текущем этапе развития технологий понимание нейросетями текста все еще очень поверхностно. В основном нейросети создают лишь видимость понимания, запоминая, какие слова чаще всего встречались в каком контексте. Поэтому машинный ответ совпадает с тем, чего хочет от нейросети человек. Эта видимость рушится, когда современным нейросетям задают каверзные вопросы, потому что с таким они пока плохо справляются.

Сам вопрос “Понимает машина смыслы или не понимает?” — философский и очень сложный. Есть гипотеза, что на основе одних текстов не получится добиться понимания, нужно дополнять их контекстом — например, для обучения загружать еще и видео. Этот вопрос — передний край науки, и над ним работает уже нынешнее поколение разработчиков».

С этим согласен Владлен Максимов, сценарист проектов «Такая работа», «Пятая стража», «Женская версия»

«Помните киновселенную Marvel, вышедшую из комиксов, где сценарии созданы по определенным алгоритмам? Потом появился фильм “Джокер”, похожий на Marvel, но в сценарии все алгоритмы были сломаны, потому что зло сражается со злом, и это все равно притягивает зрителей. Никакой искусственный интеллект не справится с рождением сложных эмоциональных сценариев».

Придумать и сгенерировать свою историю можно с помощью сервиса Plot Generator. Он предлагает выбрать три локации для истории — пусть это будет дом, Марс и космический шаттл:

Дальше нужно придумать имя главного героя, указать два прилагательных, которые характеризуют его, и профессию. Эта история будет о пассажире шаттла по имени Daria Egg, которая очень нервная, мечтательная и работает агрономом:

По такой же форме можно придумать главному герою друга, врага или любовный интерес:

В детали можно добавить монстров, драгоценности, любимые сладости героев, любимую музыку и страшную тайну:

По этому скрипту генератор предлагает нам сценарий фильма «Calm Dragon», то есть «Спокойный дракон». Действие начинается на борту космического шаттла, на котором спорят Дарья и ее любовный интерес — второй пассажир Джон:

Перевод:

ДАРЬЯ
Пожалуйста, Джон, не оставляй меня.

ДЖОН
Прости, Дарья, но я ищу кого-нибудь посмелее. Кто-то, кто сталкивается со своими страхами лицом к лицу, а не убегает.

ДАРЬЯ
Я такой человек!

ДЖОН хмурится.

Выглядит как вполне приличный диалог для мелодрамы, но дальше врывается подруга Дарьи Анна и рассказывает, что она видела, как на Марсе дракон съел кучу детей:

Чтобы создать текстовую нейросеть с нуля нужны те же знания, что требуются для создания других нейросетей. Во-первых, нужно знать математику:

• линейную алгебру: матрицы, векторы, их свойства и операции с ними
• математический анализ: производные, поиск экстремумов функции, функции многих переменных
• теория вероятности и статистика: случайные величины, распределения и т.д.

При отсутствии профильного высшего образования могут возникнуть сложности. Большинство из теорем и доказательств, которые изучаются в университете, не пригодятся на практике, но университет формирует математическую интуицию, которая очень важна. Важно не просто помнить формулы, а понимать почему они именно такие.

Конечно, нужно иметь знания в области программирования. В первую очередь это:

• Python – язык программирования, который особенно популярен в направлении машинного обучения и работы с большими данными.
• NumPy –  библиотек на Python, которую применяют для математических вычислений.

Также понадобится базовое понимание истории и устройства ИИ. Есть книга «Deep Learning», в которой излагается теория, достаточная (и даже чуть больше чем достаточная), чтобы заниматься машинным обучением. 

На курсе по машинном обучению и нейронным сетям в SkillFactory вы разберетесь с алгоритмами и узнаете необходимые библиотеки. Фокус курса – понимание задач и практическое применение решений.

Курс

Machine Learning и Deep Learning

Отработка практических навыков программирования глубоких нейронных сетей. Используйте силу машинного обучения для решения задач бизнеса

• помощь наставника на протяжении обучения;
• фокус на практическом применении;
• 21 модуль.

Узнать больше

Новости

Искусственный интеллект в кинопроизводстве уже не является чем-то футуристичным и оказывает значительное влияние на производство фильмов. Интеграция искусственного интеллекта в цепочку процессов и технологий кинопроизводства помогает создавать фильмы быстрее, экономить на всех этапах их создания и в конечном итоге получать больший доход. Всё, как мы любим!

Мы еще далеки от сверхинтеллектуального ИИ, который имитирует человеческое поведение как в научно-фантастических фильмах (может, он нам и не нужен?), но специализированный ИИ уже несколько лет помогает профессионалам точными прогнозами.

Так зачем нужен искусственный интеллект в кинематографе?

Написание сценариев

Искусственный интеллект пишет историю! Люди придумывали и сочиняли удивительные истории, но они не могли гарантировать, что у фильмов, снятых по этим сценариям, будет хороший прокат в кинотеатрах. К счастью, ИИ может (Зачеркнуто). Пока нет, но к этому все стремятся. Нет, потому что после написания сценария происходит еще много производственных процессов, которые могут свести на нет все успехи ИИ.

А почему может? Алгоритмы машинного обучения обрабатывают большие объемы данных о фильмах, анализируют их и создают уникальные истории, которые могут понравиться зрителям.

Что можно анализировать? Всё!

Например, швейцарский стартап Largo.ai разработал комплексную платформу для предоставления информации кинопродюсерам, которая поможет им принять правильные решения, свести к минимуму риски и максимально увеличить шансы на успех.

Основываясь на наборе данных из 400 000 фильмов, 1 800 000 талантов и 59 000 сценариев, ИИ анализирует сценарии, чтобы выявить шаблоны, которые могут понравиться определенной демографической группе, элементы поджанров и т. д. Он оценивает выбор актеров и в конечном итоге выражает финансовый прогноз успеха в прокате.

Еще нам понадобится ИИ, который будет анализировать саму историю среди успешных и провальных сценариев и писать свою с помощью живого человека или без него. Задача сценаристов будет заключаться в том, чтобы задать правильный тон истории, определить соответствие жанру, описать начальные материальные и нематериальные параметры персонажей и направить историю к нужному финалу.

В 2019 году комик и писатель Китон Патти использовал ИИ-бота для создания сценария фильма о Бэтмене. Он опубликовал первую страницу веселого сценария, и он стал вирусным.

В 2020 году Calamity AI использовали Shortly Read, инструмент искусственного интеллекта, построенный на GPT-3, для написания сценария короткометражного фильма на три с половиной минуты.

А что есть из новинок? Например, NovelAI — ИИ-рассказчик на базе GPT для создания уникальных историй, захватывающих рассказов, соблазнительных романов или просто подурачиться.

Пока успешные сценарии ИИ ограничиваются короткометражными фильмами, что и понятно: хронометраж меньше, вычислительные затраты меньше, смысловых ошибок меньше, ИИ не запутается в длинной истории и персонажах, ха-ха

Приятным исключением может быть анимация и такие безумные мультсериалы, как, например, «Рик и Морти». Тут у ИИ наибольшие перспективы в ближайшем будущем.

Успехов ИИ и разработчикам его алгоритмов, а продюсерам — прибыли!

Упрощение подготовки к производству

Подготовка к съемкам — важная и ответственная задача. Искусственный интеллект может помочь упростить процесс подготовки к производству. ИИ может планировать расписание в соответствии с занятостью актеров и других специалистов, а также находить подходящие локации, которые будут хорошо сочетаться с сюжетной линией. Оптимально, когда актеры, их агенты, локейшн менеджеры, режиссеры, продюсеры — все будут находиться на одной интернет площадке с доступной информацией для работы самого ИИ.

Есть и более глобальные задачи, это расчет финансовой успешности будущего фильма. Например, Cinelytic помогает студиям и независимым кинокомпаниям с помощью ИИ принимать более быстрые и разумные решения при создании бюджета фильма. Продюсеры могут получить критическое представление о том, как ключевые таланты увеличат шансы на успех вашего проекта и насколько. Их запатентованная система экономического подсчета TalentScores™ ранжирует таланты по их экономическому влиянию на киноиндустрию, в том числе по типу медиа, жанру и ключевым территориям.

Создание сторибордов

Текстовое описание сцены и передаваемый им смысл в представлении разных людей оказывается совершенно разным. Сценарист мог представлять все совсем иначе, чем это понял режиссер или продюсер. Поэтому обычно нанимается художник, который совместно с режиссером начинает рисовать наброски для визуального представления задуманным автором персонажей и сцены. Сейчас это можно отдать на откуп ИИ, который произведет автоматизированный перевод текста сценария в раскадровки.

Появились приложения, такие как PentoPix, позволяющие создавать анимированные 3Д-раскадровки. Это позволит режиссеру принять решение о доработки сцены или отказаться от нее вовсе. Очень полезно получить «трезвый» непредвзятый взгляд на месяцы разработки сценария

Есть проекты, которые работают немного в другой нише, но их также можно использовать для создания анимированных сторибордов. Особенно полезно это будет для диалоговых сцен.

Берется нарисованное лицо из раскадровки или рендер лица персонажа, загружается текст, а дальше ИИ анимирует картинку в соответствии с текстом или готовым звуком.

Также стоит следить за приложениями для создания видео по предложенному тексту. Например, Imagen Video от Googleили Make-A-Video от Meta AI. Неплохо для старта и вдохновения!

Кастинг

ИИ помогает в подборе и согласовании актеров и других талантов в соответствии со сценарием, занятостью и предпочтениями целевой аудитории.

ИИ также может помочь и во время кастинга. На основе снятых на видео проб актеров, анализируя мимику и эмоции актера, может указать на ошибки и подсказать правильные действия для предложенной роли. Такой виртуальный К. С. Станиславский: “не верю!” — и удаляет видео визитку в корзину :-).

Продюсерам также будет интересно найти в современных трендах моды, игр и стриминга новые типажи для будущих кинозвезд, которые смогут стать популярными через 2-3-5, а может и 10 лет. И только ИИ позволит вам наиболее точно моделировать глобальный или специфический профиль для выбранной территории, находя закономерности в огромном массиве данных о трансформациях типажей и аватаров.

Создание персонажа

Использование ИИ не ограничивается этапом подготовки к съемкам. Эту технологию можно использовать для создания цифровой копии актеров в фильме. Алгоритму уже можно не передавать десятки точек данных, описывающих черты лица актеров с разными эмоциями. ИИ научился захватывать движение лицевых мышц только через камеру. Затем эти данные можно использовать для наложения цифрового лица актера на его двойника или полностью цифрового персонажа. Модифицированные цифровые копии актеров помогают воссоздать персонажа в разные периоды его жизни, что помогает сохранить идентичность персонажа с течением времени.

ИИ также используют для съемок сцен с умершими актерами. Например, два любимых персонажа «Звездных войн», Кэрри Фишер (принцесса Лея) и Питер Кушинг (гранд-мофф Таркин) были воссозданы в «Изгое-один» (создатели использовали компьютерную графику, чтобы актеры выглядели точно так же, как в «Звездных войнах: Новая надежда» 1977 года). Во франшизе «Форсаж» покойный Пол Уокер был фактически воссоздан, чтобы закончить свои сцены.

В продакшене используются в основном инхаус разработки крупных студий, но экспериментировать можно и с общедоступными разработками.

Эрик Райан Чан из Стэнфордского университета в Калифорнии и его коллеги создали модель искусственного интеллекта EG3D, которая может генерировать случайные изображения лиц и других объектов в высоком разрешении вместе с базовой геометрической структурой.

EG3D и его предшественники используют тип машинного обучения, называемый генеративно-состязательной сетью (GAN), для создания изображений. Эти системы настраивают две нейронные сети друг против друга, используя одну для генерации изображений, а другую для оценки их точности. Они повторяют этот процесс много раз, пока результат не станет реалистичным.

Технологии прикладного машинного обучения используются и для создания удивительных вымышленных персонажей. Сейчас можно использовать ИИ Midjourney и её дочерних приложений.

Производство CGI графики

Графика и визуальные эффекты неизменно покоряют сердца людей. И здесь просто непаханое поле для разработчиков алгоритмов ИИ, ведь заменить работу “кожаных мешков” можно на каждом этапе постпродакшена. Рассмотрим только несколько из них.

Анимация персонажей

Естественная и выразительная генерация человеческих движений — святой Грааль компьютерной анимации. Это сложная задача из-за разнообразия возможных движений, чувствительности человеческого восприятия к ним и сложности их точного описания. Поэтому современные генеративные решения либо некачественные, либо ограничены в выразительности.

На этом видео XRDC 2019 года Кевин Хе из Deepmotion обсуждает проблемы создания интерактивного инструмента для создания персонажей и то, как разработчики могут интегрировать интеллектуальную симуляцию персонажей в свои собственные приложения. А попробовать их инструмент можно у них на сайте в разделе Motion-Brain.

Из более прикладного у них есть Animate 3D, который позволяет создавать анимацию из видеоклипов за считанные секунды. “Благодаря новаторским функциям, таким как симуляция физики, фиксация стопы, управление замедленным движением, а теперь и полное движение тела в сочетании с отслеживанием лица и рук, вы получаете больше контроля и гибкости для создания высококачественной 3D-анимации.” Они предлагают бесплатную ограниченную подписку на создание анимации через freemium аккаунт.

Хороших результатов добилась команда из Тель-Авивского университета в Израиле. Они представили тщательно адаптированную генеративную модель на основе диффузии без классификатора для области человеческого движения Human Motion Diffusion Model (MDM).

Генеративная 3D-анимация — одно из наиболее востребованных направлений разработки ИИ для VFX индустрии.

Текстурирование

Для текстуровщика одной из проблем было создание бесшовных текстур неограниченного размера. На базе Stable Diffusion был создан проект Barium AI для генерации текстур по текстовому описанию. Художник таким образом экономит время на поиске прототипов текстур (их может быть и больше десяти), а затем часы или десятки часов на сборку одной текстуры в 4к, 8к или большего разрешения. И чем лучше художник “владеет языком”, тем точнее и быстрее ИИ угадает желаемый результат.

Генерация 3D моделей

Передовыми технологиями в области генерации 3Д-объектов по фотографии обладает NVIDIA GET3D. 3D-объекты с высококачественными текстурами, сложной топологией и большим количеством деталями создаются в том же формате, что используют популярные графические приложения. Это позволяет пользователям сразу же импортировать свои объекты в 3D-рендереры и игровые движки для дальнейшего редактирования.

Вы можете поиграться с проектом DreamFusion. Его алгоритм основан на использовании предварительно обученной модели преобразования текста в 2D-изображение для дальнейшего выполнения синтеза текста в 3D-модель.

Композитинг

Здесь также разработчики идут семимильными шагами. Теперь редактирование видео стало доступнее для не профессионалов. Вы можете загрузить свое видео на сайт и удалить фон — ротоскопирование, отслеживать движение объектов — трекинг, удалять ненужные объекты — клинап, добавлять эффекты, редактировать звуковую дорожку и другие рутинные для композера вещи. Круто — да!

И снова не еще продакшн, но с чего-то надо начинать. Для бытовых нужд очень даже неплохо.

Пока сервисов, использующих технологию ИИ, для помощи CGI специалистам из киноиндустрии относительно немного, и не все разработки можно использовать в продакшене, поскольку и выходное качество еще не на уровне, и связи с 3D программами, используемыми профессионалами, не у всех есть, и напрямую связать концепт персонажа из одного ИИ с созданием 3D модели в другом ИИ, его текстурирование в третьем ИИ, привязку к ригу и анимация в четвертом ИИ, встраивание в лэйаут и рендер в пятом ИИ, эффекты и композ в шестом-седьмом и тд ИИ. Но это время рано или поздно придет, и все мы станем писателями постов и комментов в соцсети ИИ VFX индустрии

Крупнейший актуальный каталог инструментов искусственного интеллекта и нейросетей для искусства и компьютерной графики находится здесь:

Вы в комментариях пишите ссылки на разные ИИ приложения для CGI индустрии, будем собирать и разбирать их достоинства и текущие недостатки для реальной работы.

Написание музыки

Создание генеративной музыки и звуковых эффектов упростит работу над оформлением видеоряда фильма. Представьте, что ИИ смотрит ваш фильм, понимает, что происходит в кадре, подгружает синхронный звук, записанный на съемочной площадке, чистит его и добавляет звуковые эффекты. На выходе мы получаем поканальную звуковую дорожку в формате dolby Atmos, DTS или SDDS.

В 2020 году в Техасском университете в Сан-Антонио разработали ИИ AutoFoley, который позволяет синтезировать звуковую дорожку для видео файла.

Открытую модель для генерации музыки предлагает сделать организация, управляемая сообществом, HarmonAI. Получить приглашение в дискорд Harmonai Play можно, подписавшись на рассылку stability.ai.

И куда же без Google, которые представили AudioLM. Пока они натренировали ИИ на дописывание готового музыкального отрывка и только для фортепиано. Но это только начало, а результат уже превосходит алгоритмы, генерирующие музыку с нуля.

Создание субтитров

Кино снимается во многих странах и на разных языках. Киноискусство способствует развитию межкультурной коммуникации, содействует сотрудничеству и взаимопониманию. А основная ответственность за адекватное восприятие, понимание фильма иноязычными зрителями лежит на переводчиках. Перевод фильма должен достоверно показывать страну и её людей, культуру и традиции. Некачественный перевод названия фильма и диалогов персонажей не только затруднит просмотр, но может повлиять и на восприятие страны в целом. Для некоторых стран выбор названия фильма может являться политическим решением.

Основными видами аудиовизуального перевода при этом выступают дубляж, субтитрирование, закадровое озвучивание и синхронный перевод.

Чтобы доставлять видеоконтент с субтитрами на нескольких языках, производственные компании могут использовать технологии на основе искусственного интеллекта, такие как генерация естественного языка и обработка естественного языка. Киноиндустрия использует эти достижения в универсальном переводе, но тем не менее, вам по-прежнему нужны будут люди, чтобы обеспечить точность субтитров.

Еще одна из специфик перевода названия фильма — это подобрать такое название, которое поможет повысить кассовые сборы, и здесь ИИ сможет предложить наибольшее количество потенциально выигрышных вариантов.

Несколько примеров непрямого перевода в названиях фильмов: Мальчишник в Вегасе (Hangover — Похмелье), Подводная братва (Shark Tale — Акулья сказка), Папа-Досвидос (That’s My Boy — Это мой мальчик), Холодное сердце (Frozen — Замороженная), Зверопой (Sing — Пой).

Создание трейлера

Студии для привлечения зрителей в кинотеатры должны выпускать захватывающие и интригующие трейлеры. ИИ можно использовать для помощи редакторам в разработке таких трейлеров к фильмам. Алгоритм ИИ понимает и выделяет места с большим количеством действий или эмоций, распознает лица персонажей, чтобы редактор мог добавить их в окончательный трейлер.

Исследователи из Эдинбургского университета объединили две нейронные сети. Первый ИИ исследует видео и аудио дорожки фильма, чтобы определить интересующие сцены. А второй выносит суждение о том, что интересно. Он просматривает текстовую версию фильма, похожую на сценарий, и использует обработку естественного языка для выявления важных и эмоциональных моментов. Основываясь на том, как нейронные сети обрабатывают входные данные, завершенная модель генерирует новые трейлеры, используя «понимание фильмов». Целиком статью можно прочитать здесь:

Монтаж фильма

При редактировании полнометражных фильмов ИИ поддерживает редакторов фильмов. С помощью технологии распознавания лиц алгоритмы ИИ могут распознавать ключевых персонажей и сортировать определенные сцены для редакторов-людей. Быстро сделав первый набросок, редакторы могут сосредоточиться на сценах, представляющих основной сюжет сценария.

Продвижение фильма

Используемая стратегия маркетинга и продвижения будет определять успех или неудачу фильма. Чтобы подтвердить, что фильм имеет кассовый успех, в процессе продвижения можно использовать искусственный интеллект. Алгоритм ИИ можно использовать для оценки базы зрителей, ажиотажа вокруг фильма и популярности актеров по регионам. Это позволяет ИИ организовывать специальные показы и встречи с фанатами в определенных местах, чтобы еще больше подогреть интерес аудитории к фильму. Также можно создавать персонализированную целевую рекламу, используя общедоступные данные человека из социальных сетей, таких как Instagram, Facebook или Weplay.

Кинотеатры

Анализируя исторические данные вашего кинотеатра, влияние правил социального дистанцирования, политической ситуации и выходящих релизов, вы можете автоматизировать расписания сеансов, график работы персонала, прогнозировать кассовые сборы, дополнительные поступления и бюджеты для отдельного кинотеатра за выбранный интервал. ИИ может проанализировать расположение кинотеатра, распределение потоков людей и транспорта, их предпочтения в еде, напитках, цвете стен, расположение касс и фуд-кортов для дополнительной экономии средств и оптимизации прибыли. С помощью алгоритмов на основе искусственного интеллекта и анализа «что будет, если», вы можете оптимизировать решения о бронировании и улучшить процесс переговоров с дистрибьюторами.

В статье упомянуты далеко не все ИИ, используемые в кинопроизводстве. И даже эти разбросаны по сети интернет без привязки к производственным процессам. Мы, это агрегатор участников международной киноиндустрии Weplay.io, предлагаем объединить разработки ИИ в одной специализированной экосистеме для удобства использования специалистами разных профилей. Если вы разработчик ИИ или представитель проекта, предоставляющий сервис ИИ, то давайте объединяться для пользы дела. О вас будут знать не только гики, но и реальные представители киноиндустрии. Пишите нам на [email protected]

И для закрепления материала вопрос. Сколько всего необходимо нейросеток для создания и проката полнометражного художественного фильма?

Хотите научиться писать такие же крутые сценарии, как у «Игры престолов» или «Чернобыля»? Или придумывать сказки, от которых ваш ребенок точно будет в восторге? На помощь могут прийти генераторы историй. Александр Косован рассказывает, какие ресурсы в этом помогут, а также генерирует собственный сценарий с помощью искусственного интеллекта. 

Я всегда хотел написать роман или сценарий полнометражного фильма, но, увы, никогда не знал, с чего начать. Поэтому генераторы историй могут оказаться для меня настоящим спасением.

Я решил протестировать разные алгоритмы, а потом совместить результат их работы. Важно! Я буду целиком полагаться на силу искусственного интеллекта, стараясь свести к минимуму собственные творческие усилия, чтобы посмотреть, на что способны алгоритмы сами по себе.

С помощью сайта Plot Generator создаю основу для сценария полнометражного кино. Сайт предлагает сформировать множество параметров: от главного героя и места действия до профессии антагониста. Доверяю ИИ сформулировать все самостоятельно.

Нажимаю «сгенерировать» и получаю не только сюжет, но и — внезапно — постер для фильма под названием «Скупой зомби».

История начинается с того, что женщина-механик Морвенна обнимает психиатра Роба и просит его не бросать ее. Роб же отвечает, что ищет кого-то посмелее, чем Морвенна — и уходит. Вместо него появляется Фелисити, которая сообщает, что видела зомби. Вдвоем они решают, что нужно разобраться с живым мертвецом — и отправляются спасать родной город.

Я решительно отказываюсь быть автором сценария, где главные герои носят такие имена. Хочется их поменять. Для этого использую алгоритм создания пиратских имен — просто потому, что могу. Вместо Морвенны у меня будет Черная Донелла, а вместо Фелисити — Прелестный Найджел. Да, пол поменялся, но это не беда.

Прелестный Найджел и Черная Донелла приходят в книжный магазин и видят зомби. Найджел отмечает, что зомби не простой, а самый скупой на свете. Друзья ищут винтовки, чтобы остановить зомби. Ну, знаете, эти книжные магазины, где случайно можно найти винтовку…Но монстр возражает: «Я не самый скупой на свете, я наименее скупой!». 

Ну… Получается совсем плохо. Пиратские имена не помогли. Давайте закончим трагично — убьем персонажей. Было бы логично сделать это с помощью зомби, но мое вмешательство должно быть минимальным, решений я тут не принимаю. Поэтому прошу алгоритм выбрать причину смерти за меня. Для этого зачем-то нужно ввести не только имя и возраст, но и образование с весом. Ну что ж, пускай.

В итоге Прелестный Найджел умер от отравления в ресторане, а Черная Донелла поперхнулась целым чесноком и задохнулась. Проблема решена!

Новая попытка. Мне очень нужен внятный сюжет. Алгоритм предлагает выбрать, какую историю я хочу — грустную или веселую. Конечно, грустную, нужно больше боли и страданий! Мир в огне!

По сюжету, созданному искусственным интеллектом, девушка, чьи родители погибли, когда ей было четыре года, попадает в финал шоу талантов. Она безумно рада, но вдруг ее ребенка сбивает машина. Девушка эмоционально разбита. В таком состоянии она выступает в шоу, но из-за эмоциональной нестабильности занимает последнее место. Неплохой сюжет, довольно связный.

Или вот еще: Кристина — медсестра, которая убивает людей и печет из них пироги. Что дальше — неважно. Главное — эта прекрасная завязка.

Допустим некоторую вольность: совместим оба сюжета. Ребенка девушки-сироты (генератор дал ей имя Барбара Забрински) сбила Кристина, желая сделать из него пирог. И вот Кристина и Барбара встречаются, между ними происходит диалог. Попросим искусственный интеллект его сгенерировать.

— Пирог, — объясняет Кристина, – это блюдо, которое вкусней всего, когда остынет. Для пирога нет непроходимых путей. Всегда мечтали научится готовить пироги? Пожалуйста – у вас теперь почти вся ночь в распоряжении. 

— Главное, не забудь вынуть пирог, сдавая одежду в химчистку, — парирует Барбара.

— Глупый и мудрец смотрят на один пирог, но видят два разных пирога, — говорит Кристина. — Первый закон: каждый новый пирог не может противоречить ранее озвученному. Второй закон: автор первого закона – безграмотный осел. Законы нашего мира логично исходят из этих законов.

Ну что ж, диалог почти в стиле Тарантино.

Добавим название города, где это происходит, чтобы добавить колорита. Генератор дает название: Дис Пуп. Видимо, дело происходит в Мексике.

Чувствую, что кино может быть удачным. Пора подобрать ему название. Есть ли для этого генератор? Есть! Он предложил назвать фильм «Нож зла».

Отлично! Осталось подобрать постер. Что посоветует генератор?

Долгий путь

Идея генератора для создания историй не нова. Писатели и литературоведы не раз делали аналоги нынешних интерактивных алгоритмов, но на бумаге. Например, автор бульварных романов Уильям Уоллес Кук в 1928 году опубликовал книгу «Плотто», в которой было собрано практически две тысячи сюжетных поворотов, которые можно объединить так, что у вас получится связная история. Говорят, ей пользовался Хичкок в работе над своими фильмами.

Похожим образом можно создавать сказочные сюжеты с помощью книги российского исследователя Владимира Проппа. В его книге «Морфология «волшебной» сказки» даны составляющие любой сказки (от характеристик героев до символических атрибутов), комбинируя которые можно получить свое уникальное произведение.

«36 драматических ситуаций», работу французского писателя и литературоведа Жоржа Польти, тоже можно рассматривать в качестве своеобразного генератора. Польти проанализировал все известные ему литературные художественные произведения и вычленил из них 36 общих сюжетов, выйти за пределы которых не получится, как бы вы не старались. Однако полноценным генератором это все же назвать нельзя. Руководствуясь этой работой, вы сможете выбрать нужную для вашего сценария или романа конструкцию, которую придется додумывать самостоятельно.

Но возможно, в ближайшее время ничего не нужно будет додумывать — алгоритмы сами справятся с созданием связного текста. Представьте, что вы владеете крупным сайтом по продаже всевозможных товаров. На сайте десять тысяч страниц, и столько же товаров. Будете ли вы вручную писать описание к каждому из них?

Да, этот вариант можно рассмотреть, если у ваших работников есть много свободного времени, а у вас — много денег на оплату бессмысленного труда. Проще создать алгоритм, который бы составлял описания самостоятельно. Для этого нужны шаблоны, в которые ИИ мог бы подставлять нужные слова. 

В теории создать такую же штуку, работающую на создание художественных текстов, несложно. Загрузить 36 сюжетов мировой литературы, сдобрить их двумя тысячами сюжетных поворотов, научить алгоритм правильно сочетать слова и учитывать предыдущие события — и все, готово. С развитием нейросетей все это звучит не так уж фантастично. 

Самое интересное, что искусственный интеллект научился оценивать сюжеты. Компания ScriptBook создала программу, предсказывающую успех фильмов в прокате. Руководитель компании рассказала, что программа проанализировала сценарии фильмов кинокомпании Sony Pictures, выходивших в 2015-2017 годах и смогла предсказать неудачу 22 из них. 

Нейросеть обучена на 6500 сценариях и предсказывает успех или неуспех фильма в 80% случаев.Также она отличает протагониста от антагониста, умеет оценивать проработанность героев и целевую аудиторию (начиная от расы и заканчивая возрастом). Проверить свой сценарий «на успех» можно за пять тысяч долларов. Внушительная сумма, но та же Sony Pictures потратила куда больше денег впустую, сняв 20 неокупившихся фильмов за два года.

Уже сейчас нейросети пишут сценарии то к серии «Черного зеркала», то к рекламе Lexus. Но пока это не самостоятельные произведения — они требуют корректировки человека. 

Вполне вероятно, что в ближайшее время можно будет пользоваться полноценными алгоритмами, которые позволят создавать действительно связные истории с хорошими диалогами и проработанными характерами.

А пока мы уходим в закат вместе с Кристиной и Прелестным Найджелом. Зайдем по пути за пирогами.

Короткометражный фильм Sunspring был специально снят для ежегодного кинофестиваля Sci-Fi London, в котором режиссёры должны в течение 48 часов снять небольшой фантастический фильм. Фильм идёт всего 9 минут. В картине речь идёт о мире будущего с массовой безработицей, в котором молодые люди вынуждены продавать свою кровь. Главную роль исполнил канадский актёр Томас Миддлдитч, известный по сериалу «Кремниевая долина».

Идея создания алгоритма, который бы прочитал все сценарии, а затем написал бы свой собственный, родилась у режиссёра Оскара Шарпа после того, как он перечитал огромное количество сценариев к фильмам в жанре научной фантастики. За помощью Шарп обратился к своему давнишнему приятелю Россу Гудвину, исследователю искусственного интеллекта в Нью-Йоркском университете. Для этой задачи Гудвин настроил нейросеть под названием «Бенджамин», которая использовалась для распознавания текста. В нейросеть загрузили целый ряд сценариев к научной фантастике 1980-х, 1990-х и 2000-х годов в формате ТХТ, в частности таких фильмов как «Стражи», «Звёздный путь», «Пришельцы», «Футурама». «Бенджамин» проанализировал эти сценарии и вычислил вероятность, с которой в тексте встречаются определенные слова и фразы. В результате программе удалось справиться со схемой сценария, но вот имена персонажей нейросеть не осилила. «Бенджамину» не удалось подобрать подходящие имена, поэтому режиссёр поменял имена героев в сценарии на буквы и, таким образом, получилось, что героев в фильме зовут Н, Н2, С. Кроме диалогов в фильме есть песня, текст которой тоже был сгенерирован искусственным интеллектом из загруженных 30 000 популярных песен.

Из написанного сценария Гудвин и Шарп выбрали именно ту часть, которую можно было бы сыграть и снять с максимальным соблюдением первоначального сценария, поэтому фильм местами получился довольно странным и содержит множество неосмысленных диалогов. Вот, например, отрывок из эпизода, в котором героя Миддлдитча тошнит глазным яблоком:

С: «Я ничего не знаю ни о чём из этого» (С улыбкой).

Н: «И что?» (Вытаскивает глаз изо рта).

Н2: «Ответа нет».

Производство фильма заняло 48 часов, включая монтаж. Технолог Росс Гудвин считает, что эксперимент удался во многом благодаря талантливой игре актёров.

Посмотрев фильм, многие из моих друзей не догадались, что все диалоги и действия написаны компьютером.

Можно поэкспериментировать и показать фильм друзьям, заподозрят ли они, что реплики были написаны искусственным интеллектом?

Любопытно, что эксперимент с «Бенджамином» выявил главную фишку научно-фантастических фильмов: герои сталкиваются с неизведанным и задаются вопросами по этому поводу. В тексте повторно встречаются такие фразы, как «No I don’t know what that is», «I’m not sure», «I don’t know what you’re talking about»,  «What do you mean?», «Then what?», «There’s no answer».

Фильм получился одновременно футуристическим и в духе шекспировских пьес. Sunspring – наглядный пример того, как фильм может строиться полностью на игре актёров и работе звукорежиссёра.

Кто знает, может, в ближайшем будущем сюжеты, составленные компьютерами, составят достойную конкуренцию традиционным сценариям, написанным людьми?