Эффект глубины на айфон приложение. Как получить эффект глубины «Портретный режим» на любом iPhone

Новый iPhone XR в очередной раз заставил фанатов Apple и не только удивляться возможностям камеры. Мы перевели материал Бена Сандофски, автора блога и разработчика приложения Halide, в котором он рассказывает о том, как работают двойные камеры Apple, как они создают размытие и как это работает с одной камерой на iPhone XR. Прошлый материал о камере iPhone XS читайте .

С появлением iPhone XR каждый телефон в линейке Apple теперь поддерживает захват глубины. Но XR уникален: это первый iPhone, который может делать это с помощью одного объектива. Мы стали тестировать и оптимизировать приложение Halide для XR и нашли как преимущества, так и не недостатки.

В этом посте мы поговорим о трёх разных способах захвата данных глубины iPhone, что делает iPhone XR таким особенным и покажем новое обновление Halide 1.11, которое позволит вам делать на iPhone XR то, что обычное приложение камеры не в силах.

Метод захвата глубины №1: несоразмерность двух камер

Люди воспринимают глубину с помощью двух глаз. Наши глаза могут находиться всего в нескольких дюймах друг от друга, но наш мозг обнаруживает тонкие различия между изображением. Соответственно, чем больше разница или несоответствие, тем ближе объект.

IPhone 7 Plus представил систему с двумя камерами, которая позволяет строить глубину аналогичным образом. Сделав две фотографии одновременно, каждую с несколько иной позиции, мы можем построить карту глубины.

При сопоставлении изображений программная часть совершает много «додумывающей» работы, что, к примеру приводит к появлению шума, от чего иногда результат становится ещё «грубее». Приходится тратить много ресурсов для фильтрации данных и дополнительной обработки изображений, которые предполагают, как правильно сгладить края и заполнить «дыры».

Это требует большого количества вычислений и это не было возможно до появления iPhone X и iOS, которая дала возможность обработки карты глубины с частотой 30 кадров в секунду. Но всё это занимает много памяти. Какое-то время большинство вылетов приложения случалось потому, что система использовала слишком много памяти и ресурсов на обработку глубины.

Недостатки двойной камеры

Первое ограничение и странность этого метода заключается в том, что вы можете генерировать глубину только для двух частей изображений, которые перекрываются. Другими словами, если у вас есть широкоугольный и телеобъектив, то вы сможете создавать глубинные данные только для телеобъектива.

Другое ограничение состоит в том, что вы не можете использовать ручное управление. Так как система должна идеально синхронизировать выдачу кадров и экспозицию каждой камеры. Попытка управлять этими настройками вручную была бы похожа на попытку сбить два автомобиля сразу.

И, наконец, в то время как данные о цвете двухмерного изображения могут быть 12-мегапиксельными, то карта несоответствий - только половина мегапикселя. Если вы попытаетесь использовать портретный режим, то в конце концов получите заблюренные границы, которые разрушат весь эффект. Вы можете добавить резкости на границах, что увеличит контрастность в 2D-изображении, но этого недостаточно для тонких деталей, например, волос.

Метод захвата глубины №2: датчик TrueDepth

Вместе с iPhone X Apple представила камеру TrueDepth - вместо измерения несоответствия, он использует инфракрасный свет для проекции более 30 000 точек. Однако данные глубины не полностью основаны на инфракрасных точках. Сядьте в чёрно-белую комнату и посмотрите как будет себя вести TrueDepth:

Очевидно, что система использует цветовые данные как часть своих вычислений.

Недостатки TrueDepth

Одним из недостатков TrueDepth является чувствительность к инфракрасным помехам. Это означает, что яркий солнечный свет влияет на качество.

Почему бы не добавить датчик TrueDepth на задней панели XR? Я думаю, что на это повлияли три простые причины: стоимость, диапазон и сложность.

Люди готовы платить отдельно за Face ID, для чего требуется ИК-датчик, или за телеобъектив, но они не готовы платить дополнительно за усовершенствование эффекта глубины фотографий.

Добавьте к этому ещё то, что инфракрасный датчик работает намного хуже, воспринимая глубину на больших расстояниях - чем дальше отходят люди, тем сложнее становится карта глубины. Теперь вы можете понять, почему Apple довольно нерешительно использует TrueDepth для задней камеры.

Метод захвата глубины №3: Focus Pixels и PEM

На презентации iPhone XR, Apple заявила:

«Наша команда смогла скомбинировать аппаратное и программное обеспечение для создания карты сегментации глубины с использованием пикселей фокусировки и программного обеспечения нейронной сети, чтобы вы могли создавать портретные фотоснимки на совершенно новом iPhone XR».

Отдел по маркетингу Apple придумал термин «Focus Pixels». Реальный же термин - Dual Pixel Auto Focus (DPAF), это обычное явление для полноценных камер и смартфонов сегодня, которое впервые появилось на iPhone вместе с iPhone 6.

Технология DPAF была изобретена для очень быстрой фокусировки, что важно при съёмке видео с движущимися объектами. Однако, разработана она таким образом, что позволяет использовать её возможности и для вычисления несоответствий, в процессе которого строится карта глубины.

Использование захвата глубины - довольно новое явление. Google Pixel 2 был первым телефоном с захватом глубины на единственной камере с использованием технологии DPAF. Подробнее об этом написано .

В системе DPAF каждый пиксель на датчике состоит из двух субпикселе, каждый с их собственной крошечной линзой. Аппаратное обеспечение определяет фокус, похожий на дальномерную камеру; если два субпикселя идентичны - значит пиксель находится в фокусе. Представьте диаграмму диспропорций, которую мы показали ранее, но в абсолютно миниатюрном масштабе.

Если вы захватили два отдельных изображения, по одному для каждого набора субпикселей, то получите два изображения на расстоянии одного миллиметра друг от друга. Оказывается, что достаточно простого несоответствия, чтобы получить очень неровную и грубую информацию о глубине.

Как я уже упоминал, эта технология также используется Google, и команда Pixel должна была выполнить кучу работы, чтобы сделать её удобной для использования:

«Еще одна деталь: поскольку левая и правая стороны, захваченные камерой Pixel 2, находятся так близко друг к другу, информация о глубине, которую мы получаем, неточна, особенно при слабом освещении, из-за высокого шума в изображениях. Чтобы уменьшить этот шум и улучшить точность глубины, мы фиксируем всплеск изображений с левой и правой сторон, затем выравниваем и усредняем их перед применением нашего стерео-алгоритма».

Разрешение карты глубины на iPhone XR составляет приблизительно 0,12 мегапикселей: это около 1/4 разрешения системы с двумя камерами. Это действительно мало, и именно поэтому лучшие портреты, получающиеся у iPhone XR, во многом связаны на использованием нейронной сети.

Portrait Effects Matte

В этом году Apple представила важную функцию, которая значительно улучшает качество портретных фотографий, и они назвали её «Portrait Effects Matte» или PEM. Она использует машинное обучение для создания очень детального матового покрытия, которое идеально подходит для добавления фоновых эффектов. На данный момент эта модель обучения позволяет найти только людей.

С помощью РЕМ, Apple скармливает цветное 2D изображение и трёхмерную карту глубины системе машинного обучения, а ПО предугадывает как должно выглядеть итоговое изображение в высоком разрешении. Оно определяет какие части изображения являются очертаниями людей, и даже уделяет дополнительное внимание к отдельным волосам, очкам или другим частям, которые часто пропадают, когда применяется эффект портрета.

Фотографии в портретном режиме всегда выглядели неплохо. Однако PEM заставляет их выглядеть великолепно. Это достаточно мощный эффект, который позволяет делать исходные данные с очень низким разрешением у iPhone XR действительно хорошими.

Вот почему приложение камеры на iPhone XR не активирует портретный режим, пока не «увидит» человека. В iOS 12.1, PEM умеет распознавать только людей, но всё может измениться в будущем при обновлении программного обеспечения.

Без PEM данные глубины немного грубые. Однако, совместно с PEM, XR создаёт отличные фотографии.

Так делает ли iPhone XR лучшие портретные фотографии?

И да, и нет. Кажется, iPhone XR имеет два преимущества по сравнению с iPhone XS: он может делать более широкоугольные фотографии с глубиной, а благодаря тому, что широкоугольный объектив собирает больше света, фотографии получаются лучше при слабом освещении и имеют меньше шума.

Помните, как мы говорили, что портретный режим XR доступен только на портретах человека? Когда дело доходит до лиц, вы ни за что не захотите фотографировать человека близко с широкоугольным объективом, поскольку он искажает лицо далеко не в лучшую сторону. На фотографиях выше это отлично показано (у iPhone XR фокусное расстояние эквивалентно 26 мм)

Это означает, что портреты на iPhone XR лучше всего делать до талии. Если вы захотите снимок головы, как на iPhone XS, вам придется кадрировать фотографию, что приведет к потере разрешения. Широкоугольный объектив не всегда является плюсом.

Но при этом объектив XR позволяет захватывать значительно больше света, чем объектив Xs. Это означает, что вы увидите меньше шумоподавления (да, это тот самый несуществующий «фильтр красоты», который, по мнению людей, они видели) и, как правило, получите более подробную информацию. Кроме того, сенсор камеры за широкоугольными объективами XR и XS примерно на 30% больше, чем тот, который находится за телеобъективом, что позволяет ему собирать ещё больше света и деталей.

Итак, да: иногда iPhone XR будет делать более красивые портреты, чем любой другой iPhone, включая XS и XS Max.

Но в остальном XS, вероятно, даст лучший результат. Более точная и чётка карта глубины в сочетании с фокусным расстоянием, которое лучше подходит для портретов, означает, что люди будут выглядеть лучше, даже если изображение окажется немного темнее. А также он может размывать фон практически у всего, а не только у людей.

Что касается того, почему Apple не позволяет вам использовать портретный режим на iPhone XS с его точно такой же широкоугольной камерой, у нас есть некоторые идеи.

Скорее всего, Apple столкнулась с серьёзной интерфейсной головоломкой, в попытках объяснить людям, почему вдруг одна камера может снимать не только людей, а вторая - не может. Однако добавление в PEM-машину обучения большего количества объектов может свидетельствовать о том, что в скором будущем мы всё же получим портреты на широкоугольной камере iPhone с двойными модулями.

Halide 1.11 приносит портретные эффекты iPhone XR

Нам приятно «разблокировать» мощные функции телефона, к которым у людей раньше не было доступа. Теперь мы снова делаем это: Halide 1.11 позволит вам снимать портретные фотографии практически любых объектов, а не только людей.

Мы делаем это захватывая карту несоответствия пикселей фокусировки и прогоняя изображение через программное размытие. Когда вы откроете Halide на iPhone XR, просто нажмите «Глубина», чтобы включить захват глубины. Любая фотография, которую вы сделаете, будет иметь карту глубины, и если есть достаточные данные для определения переднего плана и фона, изображение станет красиво отображать боке, точно так же, как кадры на iPhone XS.

Вы заметите, что включение режима захвата глубины не позволяет в реальном времени просматривать эффект размытия портрета или даже автоматически обнаруживать людей. К сожалению, iPhone XR не позволяет это. Вам придется посмотреть на снимок чуть позже после обработки, как и в Google Pixel.

Это идеально? Нет. Как мы уже упоминали, данные глубины XR ниже, чем у iPhone с двумя камерами. Но во многих ситуациях этого вполне достаточно, чтобы получить отличные снимки.

Хотите попробовать? Приложение Halide 1.11 было отправлено модераторам Apple и выйдет после того, как пройдет одобрение App Store (прим.ред.: уже прошло!).

Наконец-то iPhone XR потерял свой маленький недостаток: неспособность сделать великолепную фотографию вашего прекрасного кота, собаки или чего угодно ещё. Надеемся, вам понравится!

Камера на iPhone 7 Plus имеет дополнительную функцию по сравнению с предыдущими моделями — портретным режимом. Что такое портретный режим, каков эффект, как он работает и как его использовать? Давайте узнаем.

Если у вас есть iPhone 7 Plus, вы наверняка знаете, что в нем установлены две камеры с разными параметрами. Первая, основная камера — это стандартный широкоугольный объектив с фокусным расстоянием 28 мм. Вторая — телефотокамера с фокусным расстоянием 56 мм, что делает изображение двойным приближением, поэтому все будет увеличено по сравнению с широкоугольной камерой.

Вы можете включить вторую камеру с помощью телеобъектива в любое время, нажимая круглую кнопку 1x на предварительный просмотр изображения камеры. Это полезно, когда вы хотите взять, например, приблизительную фотографию или крупную фотографию в полном разрешении. Однако для повседневного использования может быть более важным использовать двойной режим — портретный режим, который использует обе камеры для создания портретного изображения с эффектом глубины.

Что такое портретный режим и эффект глубины на iPhone 7 Plus?

Портретный режим в iPhone 7 Plus позволяет использовать двойную камеру и создавать изображения с эффектом глубины без дополнительной обработки в графических программах.

Эффект глубины, конечно, вы все знаете. Это популярный эффект, используемый в фотографии, а также в фильмах или компьютерных играх. Он основан на том, что изображение заострено только одним основным элементом с переднего плана, а остальная часть спины размыта.

Это можно увидеть, например, на фотографии выше, где чашка и стол заострены, в то время как остальное на заднем плане за чашкой лишено деталей. С портретным режимом в iPhone 7 Plus вы можете быстро сделать такое изображение на любом элементе. Эффект глубины особенно хорош на портретах людей, отсюда и название в режиме iPhone — портрет.

Как включить портретный режим iPhone 7 Plus?

Этот режим доступен только на iPhone 7 Plus (и, вероятно, в будущем). Это связано с тем, что для работы требуется две камеры. Вы также должны установить последнюю версию iOS (если вы еще этого не сделали). Обновление необходимо, потому что в первой версии iOS на iPhone 7 Plus этот параметр не был — он был введен в обновление iOS 10.1.

Откройте приложение для фотографий, затем выберите «Портрет» из списка доступных режимов. Вы можете найти его среди других режимов, таких как Фото, Видео, Панорама, Квадрат и т. Д. Когда вы входите в портретный режим, остальная часть полностью автоматизирована.

Убедитесь, что объект (например, другой человек), который вы хотите захватить в фокусе, находится не более чем в 2 метрах от него. Камера должна автоматически фокусироваться, например, на чьем-то лице и смазывать остальное в фоновом режиме.

Если это не так, вы можете помочь пальцем. Просто коснитесь пальцем в месте, где камера должна сфокусироваться. Затем вы можете отметить, что нужно затачивать, и камера автоматически применит эффект глубины ко всему, что находится в фоновом режиме. Если камера не может сфокусироваться или применить эффект, отобразится сообщение об ошибке — попробуйте изменить расстояние от объекта или наклона.

Таким образом, вы можете создавать не только интересные портреты людей, но и фотографировать рядом с другими объектами (например, цветами) и применять эффект глубины к элементам в фоновом режиме.

Любители классных фоточек наверняка смогут по достоинству оценить возможности новой камеры на айфоне 7 ПЛЮС. Ведь появился новый режим, который имеет название Портрет.

Обычно портретная съемка делается на весьма хорошие фотокамеры. Также такого эффекта можно достичь если пошаманить чуточку в фотошопе.

Но теперь этого делать не нужно, ведь можно просто купить iPhone 7 PLUS и наслаждаться таким режимом сполна. Давайте разбираться что это за режим, ведь некоторые с ним незнакомы, а также как именно им пользоваться.

Достаточно часто можно встретить в новостной ленте любой социальной сети фотографии, которые имеют объект на переднем плане, а сзади все размыто.

Так вот, именно такой эффект и называется «эффект боке» или на айфоне его можно найти с названием эффект «глубины». Apple серьезно поработала над камерой плюса и теперь можно творить такие чудеса.

Насколько это будет пользоваться популярностью, пока неизвестно. Ведь все пока реализовано в бета версии и пользователи не могут полностью ощутить все преимущества такой портретной съемки.

Как сделать эффект глубины/боке на айфоне 7 ПЛЮС

Чтобы найти портретный режим на iPhone 7 PLUS, достаточно просто зайти в камеру и листать режимы до тех пор, пока
не найдете нужный.


Дальше находим интересный объект и направляем камеру на него. Пробуем разные ракурсы и вы увидите, что задний фон будет размываться.

Стоит учитывать тот факт, что если предмет или человек будет находится слишком далеко, то режим просто не будет работать.


Думаю Apple будет работать в этом направлении и в будущем смогут довести этот режим до ума. Так что ждем просто великолепных фоточек.

Итоги

Новая двойная камера iPhone 7 PLUS открывает достаточно много возможностей, ведь теперь появился эффект боке, также есть двукратный зум.

Возможно в следующем айфоне будет еще лучше камера и этот даст еще больше пространства для развития портретной съемки. А пока тестим то, что имеем.

Есть новая функция «Глубина». После того, как вы сделаете портретное фото, вы можете отрегулировать уровень размытия фона. Apple продвигает данную функцию как одну из лучших функций iPhone XS. Однако вы можете использовать её и на iPhone X, iPhone 8 Plus и даже iPhone 7 Plus с помощью стороннего приложения.

Новый сенсор iPhone XS размывает разные части фотографии с разной силой. Эффект похож на действие DSLR-камер. Смартфоны, как Pixel 2, работают по-другому.

Как регулировать размытие фона на iPhone X , iPhone 8 Plus и iPhone 7 Plus

Приложение Focos уже попадало в наш , и на это есть причина. Оно исправляет один из крупнейших недостатков портретного режима. Старые модели iPhone практически во всех случаях размывали лишние элементы фотографий.

Портретный режим не всегда распознаёт уши, очки и края причёски. Focos позволяет не только регулировать уровень размытия, но и настраивать фокусную точку. Вы можете открыть фотографию и поменять её фокус, а также настроить эффект глубины. Приложение справляется со своей задачей очень хорошо. Более того, базовые функции доступны бесплатно.

Вот как это работает. Установив приложение, просто откройте его. Вы увидите камеру, а снизу сетку с готовыми фотографиями. Выберите фото, чтобы открыть его.

Под фотографией будет слайдер. Переместите его влево, чтобы уменьшить размытие, а вправо – чтобы усилить. Это всё, регулировать размытие настолько просто! Приложение использует данные о глубине самой фотографии, так что края объекта размываться не будут.

Приложение Focos позволяет менять диафрагму от f/20 до f/1.4. Вы даже можете изменить форму эффекта размытия. Доступен даже инструмент для редактирования в 3D-пространстве.

Всё это можно делать в приложении бесплатно, и этих функций хватит большинству пользователей. Чтобы открыть доступ ко всем функциям, можно приобрести платную подписку.

1

В статье говорится о широком угле, который по слухам составляет 28мм. Широким углом разве не считается 18мм и менее? Действительно интересно увидеть и услышать о примерах сделанных фоторабот на широком угле и сравнить его эквивалент в мм.

@mrrc , менее 18мм (в эквиваленте к 35) это сверх широкий. И зачастую на таком угле и шире возникают геометрические искажения, да и перспектива теряется. Для большинства ситуаций, когда надо снять крупный объект или сделать групповой портрет - действительно хватает 24-28мм. Что то более широкое - это специфичные кадры, зачастую со сложной художественной задумкой, с изменённым ощущением перспективы и несколько искажённой геометрией(гнёт края, типа как рыбий глаз). Примеры прикрепить не смогу. Но вы ради интереса посмотрите в гугле фотографии с, например, Carl Zeiss Batis 2.8/18 и Carl Zeiss Batis 2/25 - 18мм и 25мм соответственно. Назвал первое что в голову из хороших фиксов рассматриваемых углов пришло. Или посмотрите что то более широкоугольное типа 16-35 или 11-24 у Кенон

@mrrc , опять же - 18мм который вы могли иметь в виду - это 18мм на объективах 18-55, которые обычно идут к бюджетным зеркалам с APS-C матрицей, меньшего размера чем на полнокадровых зеркалках, размер матрицы которых соответствует размеру кадра 35 миллиметровой плёнки, в эквиваленте к которой всё и считается. И для такой камеры(с APS-C матрицей) такой объектив на 18 миллиметрах будет иметь угол обзора эквивалентный 26 или 28 миллиметрам на полнокадровой(35 миллиметровой) матрице.
А все эквивалентные фокусные расстояния к ней как раз и считаются. Тем более что точное значение фокусных расстояний(не эквивалентные) камер телефонов будут всего несколько миллиметров.

Надеюсь не слишком запутанно объяснил:)

@vic73_06 , я вас понял, представление о фототехнике имеется. Да, я имел в виду 18 на кропе, если в 7-ке стоит полноформатная матрица (а это так?), то указанный “широкий угол” в 28мм может и приемлем. А сколько ж тогда был широкий угол в предыдущем поколении iPhone, если сейчас был сделан отдельный акцент на широкоугольный объектив?

@mrrc , вот видимо я таки не корректно написал…

В iPhone 6s стоит матрица формата 1/3″ (одна треть дюйма), так как ни что заметно более крупное там не уместится. У конкурентов самая крупная из тех что я нашёл - 1/2,3″ у Sony Z5. Тем более не полнокадровая и даже не APS-C(как на младших зеркалках).

У iPhone 6s объектив имеет эквивалентное фокусное расстояние 29мм.

Касательно путаницы - все объективы имеют параметр оптической схемы «Фокусное Расстояние». В зависимости от размера матрицы вы будете получать разный угол обзора при одинаковом фокусном расстоянии. И что бы не происходило неразберихи фотографы придумали считать ещё и эквивалент к 35мм кадру, приняв его за кроп-фактор 1.
Так сложилось из за того, что старые фотографы, которые впервые переходили с плёнки на цифру, привыкли к полному кадру плёнки(имеющему размеры такие же как и матрица современных полнокадровых цифровых камер), но первые цифрозеркалки были только с кропом.
Тогда, зная кроп-фактор и фактическое фокусное расстояние можно прикинуть какой угол обзора будет у этого объектива на данной матрице относительно полнокадрового объектива. Для этого достаточно перемножить фокусное расстояние на кроп-фактор.

У Кенон на APS-C матрице кроп-фактор больше - 1,6, у большинства остальных 1,5. В таком случае 18мм на кропе и будет 28,8мм или 27мм в зависимости от кропа. Т.е. 18мм на такой матрице дадут примерно такой же угол обзора как 29мм или 27мм объектив.
Проблема в том, что объективы на кроп камерах маркируются абсолютным значением фокусного расстояния. Отсюда и путаница.

Обобщая можно грубо сказать что объектив у iPhone имеет угол обзора почти такой же как 18мм на кропе или 28 на полном кадре.

У iPhone 6s при эквивалентном значении 29мм стоит матрица 1/3″. Кроп-фактор для такой матрицы примерно 5(считается как диагональ полного кадра деланная на диагональ матрицы). Получается у этого смартфона стоит объектив с фокусным расстоянием примерно 5,8мм. А 29 это только весьма условный эквивалент, дающий представление об угле обзора в привычных для полнокадровой матрицы значениях.

Соответственно у iPhone 7 дано эквивалентное значение 28. Если размер матрицы всё ещё 1/3″, то на самом деле объектив новинки имеет фокусное расстояние 5,6мм.

Как итог - разница по ширине угла не столь велика, скорее всего даже малозаметна, но она есть, угол съёмки действительно шире чем у предидущего поколения. То есть больше маркетинг. Хотя надо смотреть на практике.
Угол обзора обоих объективов примерно такой же как на комплектных объективах бюджетных зеркальных камер. Но уже чем возможно на системных(в т.ч. зеркальных) камерах при применении передовых ультрашипокоугольных объективов. Другой вопрос что подобные объективы сами по себе будут стоить дороже свеженького айфона, иногда во много раз.