ИИ на поле мемов

Удивительно, но за мемы можно даже получить зачет в аспирантуре. По крайней мере, если ваш проект создан на базе алгоритмов глубокого обучения.

23-летний Лоренс Пирсон учится в аспирантуре в Стэнфорде на кафедре теоретической астрофизики. В этом году аспирант решил пройти еще и пару курсов в области искусственного интеллекта. В рамках курсового проекта они вместе с коллегой Мелтэмом Толунеем решили создать нейросеть, которая бы могла придумывать подписи к мемам. Сейчас работа опубликована под названием «Dank Learning».

Примеров обучения нейросетей созданию подписей существует довольно много — например, добавление подписи к изображению типа «человек на сёрфе» или «ребенок с мороженым». Но Лоренс решил научить сеть придумывать не просто точное, а смешное описание.

В начале проекта сам исследователь относился скептически к затее, но, подводя итоги, не мог не признать, что в результате глубокого обучения нейросеть выработала «довольно интересное и оригинальное чувство юмора».

Attaining Deep Meme

Эту фразу для мема на базе популярного шаблона с советами от животных сгенерировала нейросеть. Для обучения сети Лоренс прошерстил сайт memegenerator.net, в библиотеке которого около 400 000 сгенерированных пользователями мемов. Сайт предоставляет шаблоны мемов, а пользователи придумывают собственные подписи к картинкам.

Обучающий набор данных для проекта составил примерно 3000 базовых изображений, каждое из которых имело несколько вариантов подписей. В итоге нейросети пришлось обрабатывать подписи совершенного разного качества.

«Среди 400 000 мемов далеко не все по-настоящему смешные, но они все-таки учат систему, что такое мем и какого рода шутки подходят к таким картинкам», — говорит Лоренс.

Нейросеть на базе алгоритмов глубокого обучения была сделана на CUDA с применением графических процессоров NVIDIA TITAN Xp. Лоренс и Мелтэм пробовали использовать как немаркированные данные, так и маркированные данные (например, «успешный ребенок» или «тролльфэйс»), но особой разницы в качестве результатов не увидели.

По словам Лоренса, юмор в мемах часто построен на принципе «вообще, в этом есть смысл, но не очень». Вот, например, какая подпись получилась у нейросети для шаблона с животным.



Нельзя просто так взять и назвать мем смешным

Чтобы оценить успех обучения нейросети, команда проекта рассчитала критерий, который определяет, способна ли нейросеть увидеть определенные паттерны в данных. Они рассчитали этот критерий для нескольких сотен мемов с предустановленным форматом, например, как у Боромир-мема, который всегда начинается с фразы «One does not simply».



Но настоящей проверкой качества мема является то, насколько он все-таки смешной.

Для качественной оценки Лоренс вместе с соавтором представляли людям мемы, придуманные людьми и нейросетью. И задавали два вопроса: кто, по их мнению, создал мем — человек или компьютер, и на сколько баллов можно оценить чувство юмора в меме.

Опрос показал, что созданные сетью мемы практически неотличимы от реальных.

Они также проанализировали, как сеть озаглавит изображения, отсутствующие в наборе для обучения. В этих случаях алгоритм ищет паттерны в неизвестном изображении в соответствии с тем, что он видел в обучающем наборе. Лоренс даже показал нейросети фото своего лица и получил интересный результат.



Мемы часто вызывают виральный эффект. Похоже, что и связанные с мемами проекты тоже. Вот и в App Store скоро появится приложение, которое так и называется «Dank Learning».

Лоренс видит большой потенциал этого проекта — искусственный интеллект может создавать мемы к текущим событиям и влиять на общественное мнение, а рекламщики смогут использовать мемы для увеличения узнаваемости бренда: «Вирусное распространение информации — это отличный способ выйти на рынок».

P.S. Все подписи к изображениям в этом тексте сгенерированы нейросетью.