Нейросеть поможет снять на смартфоне фото уровня цифрозеркалки
Не секрет, что камеры смартфонов за последние лет десять сделали большой шаг вперед и теперь выдают вполне приличные снимки. Большую роль в этом сыграли аппаратные улучшения — размер матрицы и её пикселей, диаметр диафрагмы, качество оптики и т.д. Но в этом отношении смартфоны от хороших камер всё еще безнадежно отстают. Достаточно сравнить размеры фотоматриц — на иллюстрации ниже самый маленький прямоугольник приблизительно соответствует камере смартфона, а самый большой — компактной камере G1 X Mark III. Нечего и говорить о полнокадровых камерах вроде Sony α7R III.
Тем не менее, на взгляд обычного пользователя снятые на смартфон фотографии подчас получаются даже лучше, чем у цифрозеркалки. Главная заслуга в этом принадлежит встроенному «фотошопу», который на смартфонах, благодаря их процессорам, имеет гораздо больше возможностей, чем на обычных камерах. Конечно сделав снимок в необработанном (raw) формате и отредактировав его в фотошопе, грамотный фотограф получит на камере куда более лучший результат, но это потребует от него и определенной подготовки, и времени. Поэтому программная обработка фото на смартфонах вероятно останется главным источником дальнейшего совершенствования их качества. Причем с новейшими достижениями в области искусственного интеллекта встроенный фотошоп обещает стать еще лучше.
Группа сотрудников Швейцарской высшей технической школы Цюриха (включающая, по всей видимости, наших соотечественников — Андрея Игнатова и Николая Кобышева) анонсировала как раз одну из таких технологий. В её основе лежит набор генеративно-состязательных свёрточных сетей и функция потерь, применяемая для оценки качества фото. Обучение происходит на базе двух отдельных наборов фотографий — снятых на смартфон и на цифровую зеркальную камеру. Причем от предшествующих разработок такого рода нынешняя отличается тем, что не требует пар одинаковых фото, снятых одновременно на смартфон и цифрозеркалку — в этих наборах могут быть совершенно разные, никак не связанные между собой, снимки.
Насколько данная технология приблизила камеру смартфона к уровню цифрозеркалок, вы можете судить сами, загрузив на специальный сайт собственный снимок. Лично я результатом остался вполне доволен. Ниже друг за другом прилагаю 1) фото, снятое мною на iPhone 3Gs, 2) его улучшенную при помощи данной технологии версию, и для сравнения 3) фото, снятое на старенькую цифрозеркалку Nikon D70 (2004):
WESPE Project
—