Создан искусственный интеллект, способный повышать качество любых фотографий
Значительно повысить качество фотографии лёгким движением руки можно разве что в кино. В жизни же добиться этого намного сложнее. Однако группой исследователей из NVIDIA, Университета Аалто и Массачусетского технологического института (MIT), был создан новый метод, основанный на алгоритмах глубокого обучения, способный улучшать качество фотографий, просто глядя на примеры фотографий с дефектом.
(a) Входное изображение. (b) Восстановление с помощью нейросети. © Оригинальное изображение.
В предыдущих подобных проектах нейросеть обучалась восстанавливать фотографии, определяя разницу между изображением с шумом и без него. Новый подход отличается тем, что нейросети получает только изображение с шумом, зерном или другими артефактами. То есть алгоритмам не с чем сравнить полученные повреждённые данные, но она всё равно в состоянии «почистить» картинку.
Как отмечают исследователи, созданный ими искусственный интеллект можно научить восстанавливать изображения, даже без сравнения их с чистыми аналогами, причём работать они будут с большей скоростью. Созданная нейросеть не уступает методам, в которых обучение происходит на основе чистых образцов, ни по времени обучения, ни по результатам работы.
Команда проекта обучила свою систему на 50 000 изображениях из набора ImageNet. В основе системы лежат ускорители вычислений NVIDIA Tesla P100 с фреймворком глубокого обучения TensorFlow с ускорением cuDNN.
Применяться данная система может в самых различных задачах. Например, для обработки астрономические снимков, и других изображений, полученных в условиях крайне низкой освещённости, или же в медицинской сфере, для улучшения качества магнитно-резонансной визуализации. А новая система потенциально позволяет получить весомые преимущества в данных областях, устраняя необходимость в зачастую трудоёмком процессе получения чистых данных. Конечно, здесь есть свои ограничения. Система не сможет воссоздать объекты, которые отсутствуют в наборе для обучения. Но это ограничение относится в равной степени и к обучению на основе чистых изображений.
(a) Входное изображение. (b) Восстановление с помощью нейросети. © Оригинальное изображение.
В предыдущих подобных проектах нейросеть обучалась восстанавливать фотографии, определяя разницу между изображением с шумом и без него. Новый подход отличается тем, что нейросети получает только изображение с шумом, зерном или другими артефактами. То есть алгоритмам не с чем сравнить полученные повреждённые данные, но она всё равно в состоянии «почистить» картинку.
Как отмечают исследователи, созданный ими искусственный интеллект можно научить восстанавливать изображения, даже без сравнения их с чистыми аналогами, причём работать они будут с большей скоростью. Созданная нейросеть не уступает методам, в которых обучение происходит на основе чистых образцов, ни по времени обучения, ни по результатам работы.
Команда проекта обучила свою систему на 50 000 изображениях из набора ImageNet. В основе системы лежат ускорители вычислений NVIDIA Tesla P100 с фреймворком глубокого обучения TensorFlow с ускорением cuDNN.
Применяться данная система может в самых различных задачах. Например, для обработки астрономические снимков, и других изображений, полученных в условиях крайне низкой освещённости, или же в медицинской сфере, для улучшения качества магнитно-резонансной визуализации. А новая система потенциально позволяет получить весомые преимущества в данных областях, устраняя необходимость в зачастую трудоёмком процессе получения чистых данных. Конечно, здесь есть свои ограничения. Система не сможет воссоздать объекты, которые отсутствуют в наборе для обучения. Но это ограничение относится в равной степени и к обучению на основе чистых изображений.
Ещё новости по теме:
18:20