Что такое LiDAR, и для чего он нужен в iPhone?

iPhone 12 Pro – первый смартфон Apple со сканером обнаружения света и дальности LiDAR на задней панели. Но в чем собственно смысл LiDAR в новом айфоне, и для чего компания планирует использовать его в будущем?

Что такое LiDAR?

LiDAR (Light Detection and Ranging) – это датчик, который определяет расстояние между собой и объектом, отслеживая, сколько времени требуется импульсу света, чтобы отразиться и вернуться назад. Это похоже на радар, только вместо радиоволн используется инфракрасный свет.

В то время как радар предназначен для использования на больших расстояниях, LiDAR работает в меньшем масштабе из-за того, что на своем пути свет поглощается объектами. Посылая сотни тысяч световых импульсов каждую секунду, сканеры ЛиДАР могут определять расстояния и размеры объектов на небольших расстояниях с относительной точностью.

Эти данные затем можно использовать для построения 3D-моделей, что является одним из основных применений технологии в строительных и инженерных проектах. Многие наверняка слышали о 3D-лазерных сканерах, которые используются для составления планов зданий.

LiDAR имеет множество применений во различных отраслях. Археологи используют его для подготовки мест раскопок, а автономные транспортные средства полагаются на него для построения трехмерных карт своего окружения в реальном времени (система автопилотирования). ЛиДАР даже использовался для создания мегареалистичных и точных карт гоночных трасс в видеоиграх, например, Project CARS.

В быту технология также используются. Современные домашние роботы-пылесосы за счет наличия датчика ЛиДАР при движении измеряют дистанцию от себя до объектов вокруг, а затем строят карту помещения и прокладывает свой путь уже по ней, чтобы убрать помещение максимально эффективно.

Для чего LiDAR в iPhone 12 Pro?

Основная цель LiDAR в iPhone – улучшение реализации дополненной реальности (AR). За счет данной технологии приложениям, использующим AR, предоставляется более полезная и точная информация об окружении. Сканер в iPhone 12 Pro (и iPad Pro) имеет эффективную дальность действия около 5 метров.

Если вы не знакомы с технологией дополненной реальности, то она позволяет разработчикам объединять виртуальные объекты и реальный мир. Используя камеру вашего устройства, AR позволяет вам играть в игры, применять интерактивные фильтры (например, в Snapchat) или предварительно просматривать расстановку мебели и других объектов. Я уже немного рассказывал об этом в обзоре онлайн планировщика интерьера Planoplan.

Хотя LiDAR часто используется для сканирования зданий и других объектов, сканер на iPhone 12 Pro и iPad Pro недостаточно точен для точного сканирования объектов. Сетка, создаваемая айфоном на данный момент, недостаточно точна для отправки на 3D-принтер, но это отличная отправная точка для 3D-модели, поскольку все пропорции будут очень точными.

Вы также можете ожидать более плавного взаимодействия с AR на iPhone 12, особенно при размещении виртуальных предметов в реальном мире. Гаджет должен лучше распознавать реальные предметы на переднем плане, что сделает взаимодействие между виртуальными и реальными объектами более реалистичным.

Apple также намерена использовать LiDAR для улучшения работы камеры при слабом освещении. Технология «focus pixels», реализованная в iPhone XS, является продолжением технологии фазовой автофокусировки (PDAF). Она по-прежнему зависит от света, поэтому даже последние достижения в области автофокусировки не так хорошо работают в темноте.

Определяя расстояние между вашим iPhone и фотографируемым объектом, сканер может сказать камере, на каком расстоянии ей следует сфокусироваться, чтобы получить наилучшие результаты. Это должно упростить получение лучших снимков на iPhone в темноте, особенно в сочетании с ночным режимом.

Так ли нужен Лидар в айфоне?

На данный момент сенсор есть только у двух устройств Apple: оба имеют более высокую цену и приставку «Pro», так что LiDAR на данный момент является весьма нишевой функцией. Однако это вовсе не означает, что технология не получит распространение в будущем. Так, в исчерпывающий список комплектов разработки программного обеспечения (SDK) Apple входит ARKit, который был обновлен до версии 4.0 в июне 2020 года.

В этом обновлении представлены новые функции, которые используют LiDAR в ARKit, что позволяет разработчикам использовать преимущества нового датчика iPad Pro и iPhone 12 Pro. Подобные SDK позволяют разработчикам ориентироваться на целые семейства устройств, даже если для них пока не планируется внедрение новейших достижений.

План Apple, вероятно, предполагает установку датчиков LiDAR на большем количестве устройств, в то время как разработчики заняты созданием приложений, использующих преимущества данной технологии. Учитывая возобновившийся к ней интерес компании в последние несколько выпусков программного обеспечения, Apple, похоже, делает большую ставку на AR. Посмотрите как это выглядит в действии:

Однако самые большие планы Apple по поводу ЛиДАР могут выходить далеко за рамки планшетов и смартфонов. По крайней мере, этого мнения придерживаются многие аналитики. Ходят слухи о том, что компания активно разрабатывает очки AR. Если бы такой проект был реализован, логично, что точная дополненная реальность крайне бы пригодилась.

Стоит ли покупать iPhone 12 Pro?

Когда дело доходит до выбора между iPhone 12 или iPhone 12 Pro, наличие в последнем LiDAR вряд ли станет для вас решающим фактором. Если вы не используете много приложений с дополненной реальностью и не снимаете много фотографий ночью, вы не увидите никаких преимуществ в краткосрочной перспективе.

Даже если вы заядлый геймер, реализация AR в современных iPhone без поддержки LiDAR значительно улучшилась всего за несколько поколений. Несомненно, ЛиДАР делает пользовательский опыт гораздо лучше, но, вероятно, он не стоит переплаты в 300 долларов, которые Apple просит за iPhone 12 Pro.

Зачем нужен лидар в iPhone 12 Pro и iPhone 12 Pro Max

Два дня назад Apple представила iPhone 12 Pro и iPhone 12 Pro Max. Несмотря на то что они принадлежат к той же линейке, что и iPhone 12 mini и iPhone 12, в Купертино выделили анонс старших моделей в отдельную главу даже в рамках одной презентации. Это был оправданный шаг, учитывая более совершенную начинку «настоящих» флагманов. Всё-таки 5G, процессор A14 и лидар на дороге не валяются. Но если про 5G и A14 вы уже плюс-минус знаете, то вот лидар для многих по-прежнему остаются загадкой.

iPhone 12 Pro стал первым смартфоном Apple с лидаром

Лидар – это технология, которая среди устройств Apple впервые появилась в iPad Pro 2020. Тогда, в самый разгар пандемии, в Купертино удивили всех запуском нового планшета для профессионалов, который оказался почти таким же, как и его предшественник, но отличался от него лишь наличием сверхширокоугольной камеры и того самого лидара. В компании заявили, что эта штука нужна для более правильного позиционирования объектов в дополненной реальности, но никакими особенными подробностями делиться не стали. То ли дело сейчас.

Как работает лидар в iPhone 12 Pro

Это пучок света, который излучает лидар. Человек его увидеть не может

По своей сути лидар является инструментом компьютерного зрения, который используется в автопилотах, роботах и других устройствах. Он формирует серию лазерных импульсов, невидимого для человека, и направляет их на объект съёмки. Затем луч возвращается, неся в себе обширный спектр данных. Благодаря им можно, во-первых, более точно рассчитать расстояние до объекта, во-вторых, считать объём и, в-третьих, точнее определить его границы. Вот как лидар видит окружающий мир:

Это то, как лидар видит окружающие объекты

Несмотря на то что Apple не изобретала эту технологию, она, как обычно, пошла несколько дальше своих конкурентов. В отличие от большинства производителей, она оснастила iPhone 12 Pro и 12 Pro Max именно лидаром, а не ToF-сенсором. Лидар направляет несколько световых импульсов, а не один, как ToF-сенсор. Это даёт два основных преимущества: увеличенная до 5 метров дальность и способность определять даже те объекты, которые перекрываются другими объектами, например, люди за деревьями или машинами.

Что делает лидар

Фотографии с размытием благодаря лидару будут получаться более натуральными

На данном этапе развития лидар в смартфоне может служить сразу нескольким целям. Во-первых, он обеспечивает съёмку более естественных портретных фото с натуральным эффектом боке. Благодаря ему уши, волосы, хвосты и другие части тел людей и животных больше не будут оставаться в расфокусе. А в будущем планируется прикрутить возможность съёмки портретных видео. Но, скорее всего, это произойдёт только в следующем году.

Во-вторых, лидар можно использовать для высокоточного измерения расстояний в физическом мире. То есть с помощью смартфона с лидаром можно замерить площадь комнаты, длину, ширину и высоту стен, а также кривизну пола. Это может быть удобно при проведении строительных работ, в которых используются специальные дальномеры и нивелиры.

Объявлены российские цены iPhone 12, iPhone 12 mini, а также iPhone 12 Pro и iPhone 12 Pro Max

В-третьих, благодаря тому, что лидар видит в темноте не хуже, чем днём, его можно использовать для усовершенствования ночной съёмки. Его способность распознавать объекты независимо от освещения позволяет ускорить работу автофокуса до 6 раз и тем самым исключить фотографии со сбившимся фокусом.

Ну, и, в-четвёртых, лидар позволяет AR-объектам не проваливаться в текстуры реального мира. Наверняка вы обращали внимание на то, как 3д-животные от Google проваливались сквозь пол или залезали на ваш комод. С лидаром, который определяет все трёхмерные объекты на расстоянии 5 метров, такого не будет.

Приложения с поддержкой лидара

Snapchat уже получил поддержку лидара, скоро получат и другие

Одним из первых приложений, которое получило поддержку лидара, стал Snapchat. Разработчики добавили новые фильтры, которые задействуют новую технологию для более точного позиционирования объектов в дополненной реальности и повышения их реалистичности.

Обратите внимание на то, что виртуальные растения разместились не только не полу, но и на столе, учтя его высоту, а виртуальная птица летает прямо над рукой позирующей девушки. В ближайшее время Snapchat планирует ещё глубже интегрировать технологию лидара в своё приложение, представив несколько новых сценариев её использования.

Стоит ли бежать в магазин за iPhone 12 Pro/12 Pro Max ради лидара? Сложно сказать. Наверное, я бы не побежал. Другое дело, если вы уже давно планировали сменить свой старенький iPhone 6s на что-то более современное и функциональное. В этом случае один из топовых iPhone с 5G и лидаром может стать для вас отличным выбором.

Как использовать LiDAR: нашли 10 бесплатных программ для iPhone 12 Pro и iPad Pro

В закладки

LiDAR установлен в iPhone 12 Pro и 12 Pro Max, а также в iPad Pro. Он сканирует пространство и определяет очертания объектов в поле зрения.

В новых смартфонах, к примеру, именно благодаря ему портретный режим работает вместе с ночным, а в приложении «Рулетка» появляются новые фишки.

Сканер окружения повышает точность взаимодействия с дополненной реальностью и открывает массу дополнительных возможностей. Чтобы раскрыть их на 100%, разработчики массово взялись за новый софт. Мы собрали первые интересные программы в App Store, которые заточены под использование LiDAR.

Обратите внимание: некоторые из приложений в подборке без LiDAR вообще не работают, а другие ограничивают набор своих возможностей.

1. «Рулетка» — быстрое измерение человеческого роста

В стандарте приложение «Рулетка» должно быть установлено на iPhone 12 Pro. Тем не менее, если вы удаляли его на предыдущем смартфоне и использовали восстановление данных для перехода на новый, велика вероятность, что его снова придется загружать из App Store. Благо, это бесплатно.

«Рулетка» определяет размеры объектов с помощью дополненной реальности. Если запустить ее на iPhone 12 Pro и навести видоискатель на человека, приложение тут же покажет его рост. Причем, оно должно справиться с этой задачей, даже если испытуемый сидит.

Остальные возможности программы можно попробовать на любых других смартфонах: рост также получится измерить на них, но лишь вручную.

2. RoomScan LiDAR — создание поэтажных планов дома

Разработчики RoomScan LiDAR утверждают, что новый сенсор Apple идеально подходит для сканирования домов и создания поэтажных планов. Именно поэтому они переработали свой инструмент для работы с дополненной реальностью специально под iPhone 12 Pro, а также актуальную линейку iPad Pro.

Чтобы ускорить процесс сканирование помещений, разработчики RoomScan LiDAR также подключили движок Metal и решили максимально задействовать чипсеты Apple A12z Bionic и Apple A14 Bionic. Результат удивляет: вы можете создать подробный план дома в 3D и спланировать его ремонт.

Создатели приложения отдельно подчеркивают, что технологии, которые они используют в данном приложении, подкреплены патентом соответствующего Бюро США.

? Скачать RoomScan LiDAR (бесплатно + покупки)

3. magicplan — планирование ремонта и документация

Еще одно приложение, которое заточено под дизайнеров интерьера и владельцев недвижимости, озадаченных ремонтными работами. Оно также сканирует пространство для создания поэтажных планов помещения. Тем не менее, предлагает больше инструментов для перенесениях их из трех измерений в два.

Разработчики настаивают, что с помощью их приложения работа в полевых условиях упрощается. Речь про создание черновых планов помещения на месте, чего от дизайнера часто требуют заказчики. С iPhone 12 Pro или iPad Pro и LiDAR это можно сделать быстро — для этого же получится использовать отдельные лазерные дальномеры.

Функциональный набор приложения, кроме прочего, также включает работу со сметной и другой документацией, которая точно пригодится подрядчику.

? Скачать magicplan (бесплатно + покупки)

4. LiDAR Scanner 3D — быстрый сканер пространства

Это приложение, которое заточено под работу с iPhone 12 Pro и iPad Pro, представляет собой максимально быстрый 3D-сканер. С помощью него можно практически моментально превратить стену своего дома в трехмерную модель и сохранить полученный результат в форматах USDZ, OBJ, STL, PLY.

Отсканированные модели не содержат цветов и предназначены для дальнейшего использования в приложениях для работы с трехмерной графикой на компьютере или мобильных устройствах. По идее, это должно ощутимо сократить потраченное время на создание объектов с нуля.

Без LiDAR это приложение, увы, не работает. Поэтому его есть смысл устанавливать только на iPhone 12 Pro и iPad Pro.

? Скачать LiDAR Scanner 3D (бесплатно + покупки)

5. Heges 3D Scanner — определение объектов через LiDAR и Face ID

Еще одно приложение от предыдущего разработчика, которое может использовать не только LiDAR, но и Face ID. Собственно, поэтому его получится использовать не только на iPhone 12 Pro и iPad Pro, но также на iPhone X, XS, XR, 11, 11 Pro. Готовые «картинки» оно умеет сохранять в форматах STL и PLY.

Кроме прочего, оно также поддерживает возможность шаринга экрана. Это нужно для того, чтобы использовать фронтальную «батарею» камер True Depth, превратив в видоискатель любой другой девайс. Да, с LiDAR весь процесс значительно упрощается, но он пока доступен на ограниченном числе гаджетов.

Кстати, бесплатно с приложением можно только познакомиться. Чтобы активировать запись объекта, эту возможность придется оплатить.

? Скачать Heges 3D Scanner (бесплатно + покупки)

6. 3d Scanner App — сканирование объектов в 3D

Еще один сканер для объектов, который переносит их в трехмерное визуальное пространство и дает возможность использовать в форматах USDZ, OBJ, GLTF, GLB, DAE, STL. Их получится перенести в место, смоделированное на любом другом устройстве.

Описанные выше форматы можно добавить в Blender, 3dsMax, SketchUp, Maya и другой подходящий софт для трехмерного моделирования. Важной особенностью приложения является возможность сохранения размеров объектов, которые определяются при сканировании.

Приложение можно использовать абсолютно бесплатно без каких-либо ограничений.

7. AR COPY & PASTE — копирование и вставка трехмерных объектов

Данное приложение предназначено для копирования и вставки трехмерных объектов на iPhone 12 Pro и iPad Pro с помощью LiDAR. Ни на каких других гаджетах, по понятным причинам, оно полноценно не функционирует — можете даже не пробовать.

Собственно, суть программы проста: отсканировать объект и сохранить его или скопировать в другое пространство через дополненную реальность.

8. Hello How Low — видео с дополненной реальностью

Любопытный способ разнообразить свои видеоролики с помощью эффектов, завязанных на дополненной реальности. С помощью LiDAR приложение определяет очертания человека или другого главного объекта и дает возможность вставлять его на любой интересный фон. Получается неординарный результат.

С помощью встроенным покупок в приложении можно значительно расширить список встроенных фильтров.

? Скачать Hello How Low (бесплатно + покупки)

9. Record3D — ролики с дополненной реальностью

Еще одно любопытное приложение для создания роликов с использованием дополненной реальности. Оно сканирует объект с помощью Face ID или LiDAR и дает возможность использовать его в видеозаписях. Результат получается сюрреалистическим, но вполне интересным.

Отдельного внимания заслуживает возможность сохранения полученных изображений в формате RGBD для их дальнейшего использования в другом поддерживаемом софте.

Для того, чтобы бесплатно протестировать LiDAR в iPhone 12 Pro или iPad Pro, приложение предлагает три видеозаписи. В дальнейшем его придется приобрести.

? Скачать Record3D (бесплатно + покупки)

10. CyberWave — музыкальная визуализация через LiDAR

Без LiDAR данное приложение не работает. С помощью него же оно может создавать визуализацию музыкальных композиций в окружающем пространстве. Достаточно лишь включить программу и активировать воспроизведение любимых треков. Окружающий мир тут же начнет меняться через экран мобильного устройства.

Главное ограничение приложения: оно работает только с музыкой, которая не оснащена через DRM. Поэтому, увы, Apple Music в пролете.

? Скачать CyberWave (бесплатно + покупки)

? Используй лидар и держи свой айфон в красивом чехле:

▪️ Слева пластиковый Guess — 2 990 руб.
▪️ В центре кевларовый Pitaka — 5 990 руб.
▪️ Справа силиконовый Apple — 4 990 руб.

В закладки