Google рассказывает, как был улучшен портретный режим на Pixel 4

Портретный режим на телефонах Pixel - это функция камеры, которая позволяет любому человеку делать снимки профессионального качества с небольшой глубиной резкости, привлекая внимание зрителя к объекту на размытом фоне. Важным компонентом этого процесса является знание того, насколько далеко объект находится от камеры, то есть глубина, чтобы определить в какой области нужно сохранять резкость, а что размывать. Впервые представленный на Pixel 2, а затем улучшенный на Pixel 3, где для оценки глубины добавилось машинное обучение, портретный режим продолжает своё развитие.

21.12.2019

 image_2

Краткая предыстория

Pixel 2 и 3 с одной камерой использовали двухпиксельную систему автофокусировки  для оценки глубины. Работа системы заключается в разделении каждого пикселя пополам, так что каждая половина пикселя видит разную часть диафрагмы объектива. Считывание каждого из этих полупиксельных изображений по отдельности, позволяет получить две разные точки обзора снимаемой сцены. Такой подход также создаёт иллюзию того, что сцена снимается двумя камерами, расположенными по обе стороны от диафрагмы объектива. Чередование между этими точками обзора сохраняет основной объект съёмки на своём месте, в то время как задний фон перемещается вертикально.

image3

Это движение называется параллаксом, и его величина зависит от глубины. Можно оценить параллакс и, следовательно, глубину, вычисляя пиксели, соответствующие каждой из точек обзора. Поскольку параллакс уменьшается с увеличением расстояния до объекта, глубину легче оценить для объектов, расположенных на близких дистанциях, например таких, как лампа. Параллакс также зависит от длины базовой стерео линии, то есть расстояния между камерами (или виртуальными камерами в случае двух пикселей). В системе двух пикселей длина базовой линии составляет менее 1 мм, поэтому оценить глубину удаленных сцен намного сложнее. Например, изображения с  двух разных точек обзора, полученные при съёмке человека, выглядят почти одинаково.

Две камеры дополняют систему двойных пикселей

Широкоугольный и телеобъектив в Pixel 4 расположены на расстоянии 13 мм друг от друга, значительно превышая размер базовой стерео линии в случае двух пикселей, поэтому параллакс здесь более выражен, что облегчает оценку глубины удаленных объектов. На изображениях ниже параллакс по системе двойных пикселей едва различим, в то время как он более очевиден в случае использования двух отдельных камер.

image4_1

Но даже с двумя камерами информация, собранная с помощью системы двух пикселей, по-прежнему полезна. Чем больше базовая линия, тем больше появляется недостающих пикселей необходимых для точной оценки глубины. Например, для некоторых пикселей на заднем фоне справа от человека, полученных от основной камеры, не достаёт соответствующих пикселей,  полученных от вторичной камеры. Таким образом - это затрудняет более точное измерение параллакса при использовании только двух камер. Тем не менее, эти пиксели все еще можно обнаружить с помощью двухпиксельной системы, что позволяет лучше оценить глубину в этих областях.

Другой причиной использования двух этих подходов является проблема с апертурой, затрудняющая оценку глубины вертикальных линий, когда базовая стерео линия также вертикальна (или когда обе горизонтальны). На Pixel 4 базовые линии системы двух пикселей и двух камер перпендикулярны, что позволяет оценивать глубину для линий любой ориентации. Наличие дополнительной информации позволяет практически безошибочно определять глубину удаленных объектов для любых сцен.

Применение искусственного интеллекта

Машинное обучение стало следующим этапом в развитии портретного режима.  Впервые его использовали для оценки глубины на Pixel 3 в дополнение к системе двух пикселей. В Pixel 4 этот подход был расширен как для двух-пиксельной системы, так и для двух камер, используя платформу Tensorflow для обучения сверточной нейронной сети. Сначала сеть отдельно обрабатывает двух-пиксельные и двухкамерные вводные данные, применяя два разных кодировщика - тип нейронной сети, которая кодирует входные данные в промежуточный образ. Затем один декодер использует оба промежуточных образа для вычисления глубины.

image1

Чтобы заставить модель использовать оба входных сигнала, был использован метод исключения, при котором один входной сигнал случайно устанавливается на ноль во время обучения. Это учит модели работать хорошо, если один из входных сигналов недоступен, что может произойти, например, если объект находится слишком близко для фокусировки вспомогательного телеобъектива.

image2_1

Карты глубины. Сверху: два входа предоставляют информацию о глубине для линий в разных направлениях. Внизу: двойные пиксели обеспечивают большую глубину в областях, видимых только в одной камере, что подчеркивается на вставках. Двойные камеры обеспечивают лучшую глубину фона и земли. (Фото предоставлено Майком Милном)

Изображение фонаря выше показывает, как наличие обоих сигналов решает проблему диафрагмы. Наличие только одного входного сигнала позволяет точно прогнозировать глубину для линий в одном направлении (горизонтальное для двойных пикселей и вертикальное для двойных камер). С обоими сигналами появляется возможность восстановить глубину на линиях во всех направлениях.

С изображением человека двойные пиксели обеспечивают лучшую информацию о глубине в закрытых областях между рукой и туловищем, в то время как большие базовые двойные камеры обеспечивают лучшую информацию о глубине на заднем плане и на земле. Это наиболее заметно в верхнем левом и нижнем правом углу глубины от двух пикселей.

Боке, как на зеркальных фотокамерах

Фотографы зациклены на размытом фоне или на боке, которое проявляется на изображениях с малой глубиной резкости.  Одной из самых заметных особенностей высококачественного боке, которое создаёт зеркальная камера – это то, что маленькие блики фона превращаются в яркие диски при расфокусировке. Расфокусировка распространяет свет от этих бликов внутри диска. Однако исходная подсветка настолько яркая, что даже когда ее свет распространяется на диск, диск остается на ярком конце тонального диапазона зеркальной камеры.

image8

image6

Чтобы воспроизвести подобный эффект боке, каждый пиксель исходного изображения был заменён полупрозрачным диском, размер которого зависит от глубины. В прошлом этот процесс размытия выполнялся после тонального преобразования (Tone Mapping), процесса, с помощью которого необработанные данные датчика преобразуются в изображение, видимое на экране телефона. Tone Mapping сжимает динамический диапазон данных, делая тени ярче по сравнению с бликами. К сожалению, это также приводит к потере информации о том, насколько яркие объекты на самом деле присутствуют на сцене, что затрудняет создание хороших высококонтрастных боке-дисков. Вместо этого, боке сливается с фоном и выглядит не так естественно, как у зеркальной камеры.

Решением этой проблемы является размытие объединенного необработанного изображения, полученного с помощью HDR + и затем применения тонального преобразования. В дополнение к более ярким и более очевидным боке-дискам фон насыщен так же, как и передний план.

Источник: https://ai.googleblog.com/2019/12/improvements-to-portrait-mode-on-google.html
Panasonic разработала очки виртуальной реальности с поддержкой HDR и UHD

Panasonic разработала очки виртуальной реальности с поддержкой HDR и UHD

Новинки7 ч. назад
Гаджет так же прост и удобен в использовании, как обычные солнечные очки и, как заявлят компания, яв...
Доступна новая прошивка для камер Fujifilm X-T3 и X-Pro 3

Доступна новая прошивка для камер Fujifilm X-T3 и X-Pro 3

Новинки7 ч. назад
Компания Fujifilm устранила ошибки и внесла ряд улучшений в работу камер X-T3 и X-Pro 3. Внесённые и...
Panasonic обновила прошивку камер Lumix S1 и S1H

Panasonic обновила прошивку камер Lumix S1 и S1H

Новинки8 ч. назад
Микропрограмма камеры Panasonic Lumix S1 была обновлена до версии 1.4, а камеры Panasonic Lumix S1H ...
Cosina анонсировала новый объектив Voigtlander Nokton Vintage Line 75 мм f/1.5 VM

Cosina анонсировала новый объектив Voigtlander Nokton Vintage Line 75 мм f/1.5 V...

Новинки1 год назад
Компания Cosina представила новый объектив Voigtlander Nokton Vintage Line 75 мм f/1.5 VM для беззер...
Moment начинает выпуск светофильтров ND с переменной плотностью для фотокамер и дронов

Moment начинает выпуск светофильтров ND с переменной плотностью для фотокамер и ...

Новинки24 мин. назад
Компания Moment, специализирующаяся на производстве аксессуаров и объективов для смартфонов, объявил...
Fujifilm X-T3 - эволюция серии X в 4-е поколение

Fujifilm X-T3 - эволюция серии X в 4-е поколение

Новинки1 год назад
Серия X стартовала с выпуска модели X100 в 2011 году. X-Pro1, выпущенная в 2012 году, стала первой м...
Доработка объектива Zenit MC Zenitar-M 2s 50mm F/2.0 для эффектного боке

Доработка объектива Zenit MC Zenitar-M 2s 50mm F/2.0 для эффектного боке

Новинки1 год назад
Иранский фотограф Алиреза Ростами много лет занимается изучением и лёгкой доработкой различных объек...
Новости из будущего: возможные анонсы и события фотоиндустрии

Новости из будущего: возможные анонсы и события фотоиндустрии

Новинки1 год назад
Canon работает над новыми объективами для системы EOS R, Nikon планирует выпустить беззеркальную кам...
Система OMNI для творческих эффектов от Lensbaby

Система OMNI для творческих эффектов от Lensbaby

Новинки1 год назад
Компания Lensbaby предлагает фотографам и видеографам простую в использовании систему OMNI для созда...
Трёхосевой электронный стабилизатор Moza AirCross от Gudsen

Трёхосевой электронный стабилизатор Moza AirCross от Gudsen

Новинки2 года назад
Gudsen выпустила новый стабилизатор для владельцев беззеркальных камер под названием Moza AirCross ....
Nikon обновила дорожную карту объективов для камер серии Z

Nikon обновила дорожную карту объективов для камер серии Z

Новинки1 год назад
Компания Nikon выпустила обновленную дорожную карту объективов для системы Nikon Z, которая включает...
Metabones объявила о выпуске новой версии адаптера Speed Booster ULTRA 0.71x

Metabones объявила о выпуске новой версии адаптера Speed Booster ULTRA 0.71x

Новинки2 дн. назад
Новый адаптер из серии Speed ​​Booster позволяет установить объективы Canon EF на полнокадровые без...
Объявлены победители крупнейшего в мире конкурса фотографии Sony World Photography Awards 2015

Объявлены победители крупнейшего в мире конкурса фотографии Sony World Photograp...

Новинки5 лет назад
Фотографа года выбирали из победителей в тринадцати профессиональных категориях. Серия работ победит...
Adobe выпускает обновления для Lightroom Classic CC и Lightroom CC

Adobe выпускает обновления для Lightroom Classic CC и Lightroom CC

Новинки2 года назад
Adobe обновила Lightroom Classic CC до версии 7.4 и Lightroom CC до версии 1.4. Обновления добавляют...
Встречайте LUMIX S – новую серию полнокадровых беззеркальных камер от Panasonic

Встречайте LUMIX S – новую серию полнокадровых беззеркальных камер от Panasonic

Новинки1 год назад
Корпорация Panasonic представила две модели цифровых беззеркальных камер с полнокадровым сенсором 35...
Google рассказывает, как был улучшен портретный режим на Pixel 4
журнал ФотоТехника

Комментарии

Отправить