Концепт камеры для печати фотографии в виде комиксов

Дэн Мэкниш (Dan Macnish), инженер и дизайнер, представил проект Draw This, в рамках которого из подручных деталей подготовлена фотокамера, напоминающая полароид, но печатающая фотографии в виде комиксов с интерпретацией окружающей действительности. Например, сфотографировав двух людей на выходе будет распечатано два мультяшных персонажа. Проект демонстрирует переход современных средств машинного обучения из категории разработок, развиваемых узким кругом исследователей, в форму широкодоступных инструментов, позволяющих любым желающим воплощать свои идеи и создавать готовые прототипы устройств.

Программная начинка проекта написана на языке Python и распространяется под лицензией MIT. Аппаратная часть включает плату Raspberry Pi 3 с модулем камеры и типовой термопринтер для печати чеков, а также светодиод, кнопку, резистр на 220 Ом и картонную коробку в качестве корпуса.



Ключевым элементом устройства является приложение cartoonify, использующее нейронную сеть для распознавания объектов, обученную на наборе схематичных рисунков всевозможных предметов Google QuickDraw (примерно 5GB данных). Нейронная сеть построена с использованием платформы машинного обучения TensorFlow и использует готовую модель распознавания объектов mscoco_label_map (100Мб).

Приложение прогоняет через нейронную сеть полученное с камеры изображение и выдаёт на выходе интерпретацию в виде схематичных рисунков. Программа также может применяться для обработки фотографий с обособленным запуском в окружении Linux или macOS, в этом случае предлагается интерфейс пользователя на основе библиотеки Remi.