Цифровой зум 2.0 на смартфонах: кропнутый «оптический зум»

Ставки продолжают расти в 2022 году, когда речь идет о безумной гонке мегапикселей. После того, как в конце 2019 года на рынке появился первый 108-мегапиксельный смартфон, в этом месяце отметку в 200 МП преодолели Motorola Edge 30 Ultra (обзор) и Xiaomi 12T Pro (практический опыт).

Даже ранее упомянутый iPhone 14 Pro в этом году подскочил до 48-мегапиксельной камеры, что очень необычно для Apple. Однако захватывающей особенностью датчиков чрезвычайно высокого разрешения являются не 100-мегабайтные фотографии, используемые для печати в доме, а их масштабирование.

iPhone 14 Pro (Max) впервые оснащен камерой с разрешением 48 МП. Имеет ли это хоть какой-то смысл? / © NextPit

Как работает двукратный зум в iPhone 14 Pro?

В отличие от полноценных цифровых камер, подавляющее большинство смартфонов не имеют зум-объективов, которые могут изменять фокусное расстояние путем смещения линз из-за нехватки места. Вместо этого есть отдельные датчики для разных уровней масштабирования. IPhone 14 Pro имеет один датчик для сверхширокого угла (0,5x), один для широкоугольного (1x) и один для телефото (3x).

При масштабировании с помощью жеста двумя пальцами в приложении камеры смартфон теперь выполняет цифровое масштабирование изображения одной камеры до тех пор, пока не будет достигнуто увеличение следующего модуля камеры, прежде чем произойдет переключение. По мере увеличения цифрового увеличения качество, естественно, будет снижаться. Степень уменьшения зависит от рассматриваемой камеры.

См. сравнение эффективных размеров сенсора в iPhone 14 Pro. / © NextPit

Основная камера iPhone 14 Pro представляет собой 1/1,28-дюймовый датчик изображения размером 9,8 на 7,3 миллиметра с разрешением 48 МП. С 2-кратным зумом Apple просто вырезает 12-мегапиксельную секцию из центра сенсора, которая по-прежнему имеет размеры 4,9 на 3,7 мм на сенсоре — и, таким образом, примерно соответствует формату 1/3 дюйма. Этого достаточно для приличных фотографий при хорошем освещении.

При 3-кратном увеличении Apple затем переключается на следующий 12-мегапиксельный сенсор (который на самом деле больше похож на 3,2-кратный с эквивалентным фокусным расстоянием 77 миллиметров). В формате 1/3,5 дюйма или 4,0 на 3,0 миллиметра датчик снова немного меньше, чем «датчик 2x», который был вырезан из центра основной камеры.

На следующей диаграмме вы можете увидеть, какая площадь сенсора доступна для камеры в iPhone 14 Pro и iPhone 13 Pro при разных фокусных расстояниях. Сверхширокий угол (13 миллиметров) начинается с крайнего левого края. Основная камера (24 миллиметра) показывает значительное увеличение. Вплоть до телеобъектива (77 миллиметров) у iPhone 14 Pro всегда больше доступной площади сенсора, чем у iPhone 13 Pro. Наконец, телеобъектив остался прежним.

Здесь вы можете увидеть, какая площадь сенсора доступна для камеры в iPhone 14 Pro и iPhone 13 Pro при соответствующем фокусном расстоянии. / © NextPit

Диаграмма выше тоже интересна, только с мегапикселями (МП) вместо площади сенсора, рассматриваемой по вертикальной оси. В то время как прогрессия идентична для сверхширокоугольного и телеобъектива по 12 МП каждый, скачок до 48 МП явно заметен. У iPhone 14 Pro значительно большее разрешение, с которым можно играть при цифровом увеличении от 1x до 3,2x.

У iPhone 14 Pro также значительно больше возможностей для маневра с точки зрения разрешения. / © NextPit

Насколько большим и с высоким разрешением он должен быть?

Обсуждаемый до сих пор iPhone 14 Pro — это даже не смартфон с самым высоким разрешением или самым большим сенсором. На этой неделе Xiaomi выпустила 12T Pro, который предлагает сенсор на 200 МП и полностью отказывается от телеобъектива взамен. Но насколько больше места для цифрового масштабирования предлагает такое количество мегапикселей? Давайте посмотрим на это в сравнении с iPhone 14 Pro:

У iPhone 14 Pro также гораздо больше возможностей для маневра с точки зрения разрешения. / © NextPit

Однако более важным фактором, помимо разрешения, является площадь сенсора, доступная камере при разных фокусных расстояниях. Isocell HP1, установленный в Xiaomi 12T Pro, значительно больше, чем основная камера в iPhone 14 Pro с размером 1/1,22 дюйма, но проигрывает по доступной площади сенсора, когда смартфон Apple переключается на телеобъектив:

Xiaomi 12T Pro имеет большую площадь сенсора, доступную с основной камерой. Однако iPhone 14 Pro выигрывает при переходе на телеобъектив. / © NextPit

А как же квадробайкер?

До сих пор мы игнорировали один фактор: цветовые маски над датчиком. Чтобы объяснить Quad-Bayer, мы сначала должны посмотреть, как работают датчики изображения. Датчик изображения состоит из множества небольших датчиков света, которые измеряют только количество падающего света, но не могут различать цвета. 12 МП означает наличие 12 миллионов таких датчиков света.

Чтобы превратить этот черно-белый датчик в цветной, поверх датчика помещается цветовая маска, фильтрующая падающий свет в соответствии с зеленым, красным или синим цветом. Маска Байера, используемая в большинстве датчиков изображения, всегда делит два на два пикселя на два зеленых пикселя, один красный и один синий пиксель. Таким образом, датчик с разрешением 12 МП имеет шесть миллионов зеленых пикселей и по три миллиона синих и красных пикселей каждый.

Сенсор Байера (слева) имеет в два раза больше зеленых пикселей, чем красных и синих пикселей. Во время демозаики полученные пробелы заполняются, а пиксели RGB интерполируются. / © Сони

При демозаике или дебайеризации алгоритмы обработки изображений используют значения яркости окружающих пикселей другого цвета для определения значения RGB для каждого пикселя. Таким образом, очень яркий зеленый пиксель, окруженный «темными» синими и красными пикселями, становится полностью зеленым. А зеленый пиксель рядом с полностью экспонированными синим и красным пикселями становится белым. И так далее, пока не получим изображение с 12 миллионами пикселей RGB.

Однако с датчиками с более высоким разрешением цветовая маска выглядит иначе. С так называемым четырехъядерным датчиком, обычно в диапазоне 50 МП, под каждым красным, зеленым или синим пикселем находится четыре пикселя яркости. Датчики на 108 МП даже группируют девять (3×3) пикселей в одной цветовой области, а датчики на 200 МП имеют 16 (4×4) пикселей. Sony называет это четырехъядерным пикселем, а Samsung использует тетра-, нона- или тетра2пиксель.

В то время как датчики изображения на самом деле имеют разрешение до 200 МП по яркости, цветовая маска останавливается на 12 МП. Это тоже не проблема, так как при восприятии разрешение яркости важнее разрешения цвета. Тем не менее, при чрезвычайно высоких цифровых увеличениях цветовое разрешение в конечном итоге снижается до такой степени, что возникают ошибки изображения.

В качестве примера здесь мы обработали фотографию маленького андроида. Слева (1) вы видите изображение в градациях серого, справа (3) изображение RGB с разрешением в четыре раза. Центральное изображение состоит из левого и правого изображений, и на первый взгляд результат выглядит очень хорошо. Однако при ближайшем рассмотрении переход между зеленым и синим в верхней части андроида нечеткий.

И именно на таких переходах возникают артефакты при слишком большом приближении к сенсору, где цветовая маска имеет меньшее разрешение, чем сам сенсор. Кстати, именно по этой причине Samsung, вероятно, использовала 64-мегапиксельный сенсор с нетипичной для этого разрешения RGB-матрицей для своего широко оклеветанного 1,1-кратного телеобъектива в S20 Plus и S21 Plus.

Разрешение по яркости важнее, чем разрешение по цвету: это центрированное изображение (2) было создано из черно-белого изображения с высоким разрешением (1) и цветного изображения с низким разрешением (3). / © NextPit

Суть в том, что чисто по аппаратным спецификациям трудно сказать, как ведет себя качество изображения в камерах, тем более что весьма решающую роль в конечном итоге играют и алгоритмы производителя. И так называемая повторная мозаика также является серьезной проблемой для датчиков с масками Байера 2×2, 3×3 или 4×4. В отличие от обычной демозаики, значения цвета должны быть интерполированы на все большие площади сенсора и со все большей сложностью.

С другой стороны, все более крупные датчики также приносят свои собственные проблемы. Чтобы линзы были компактными, производителям приходится использовать линзы, преломляющие свет все больше и больше, что приводит к проблемам с хроматическими аберрациями и другими артефактами, особенно по краям изображения. И малая глубина резкости также является проблемой на близком расстоянии.

Поэтому это остается захватывающим, и я надеюсь, что вы нашли интересным это путешествие в мир чрезвычайно больших датчиков изображения с чрезвычайно высоким разрешением. Как камера вашей мечты выглядит в смартфоне? Я с нетерпением жду ваших комментариев!