當(dāng)前位置：中國生活都市網(wǎng) >> 看科普 >> 文章正文
激光雷達(dá)效果測量！蘋果AR生態(tài)和AR眼鏡有什么意義？
【文字/VR陀螺儀鉆風(fēng)】蘋果的AR眼鏡已經(jīng)很久沒有固定了，但蘋果的AR生態(tài)正在從另一個角度悄然融入大眾的視野。繼今年3月搭載LiDAR的iPad Pro發(fā)布后，蘋果宣布其新款iPhone12 Pro/Pro Max搭載LiDAR。
雖然ar眼鏡一直被認(rèn)為是未來AR的終極形態(tài)，蘋果的Apple Glass也很受歡迎，但蘋果的AR生態(tài)是從現(xiàn)有的移動硬件生態(tài)開始，從軟件和軟件開發(fā)工具ARkit開始。
從移動端開始，蘋果的AR生態(tài)并不是在等AR眼鏡的到來
2017年6月，蘋果在WWDC推出了ARkit，這是一個移動增強(qiáng)現(xiàn)實(shí)開發(fā)工具的集合。同年8月，谷歌推出ARCore作為基準(zhǔn)ARkit。
這兩個版本的意義在于幫助AR應(yīng)用開發(fā)者大大降低AR應(yīng)用的開發(fā)難度，讓AR應(yīng)用的創(chuàng)建變得更加容易，讓開發(fā)者可以專注于應(yīng)用本身的功能和游戲性，而且免費(fèi)，沒有硬件要求。所以當(dāng)時出現(xiàn)了AR開發(fā)熱潮。
ARCore是在ARkit的腳步中引入的，所以被認(rèn)為是ARkit的模仿者。其實(shí)谷歌早在2014年就推出了AR軟件系統(tǒng)Tango，比蘋果早了三年。據(jù)說ARcore是基于Tango的整合升級，所以有網(wǎng)友開玩笑說谷歌早起趕上晚一集。
但是，谷歌和蘋果作為先行者，想法不同。他們要的是AR軟硬件的并行性。
所以谷歌早期也嘗試過將Tango系統(tǒng)集成到手機(jī)硬件中，率先推出了首款搭載Tango技術(shù)的AR智能手機(jī)PHAB2 Pro。
結(jié)果谷歌的AR智能手機(jī)沒能贏得市場的青睞，最終消失了。軟硬件并行的策略消亡了，但ARkit成為了最大的AR平臺。
蘋果的生態(tài)和安卓的生態(tài)正好相反。全封閉的生態(tài)讓蘋果在硬件和軟件上擁有完全的自主權(quán)，讓很多無法解決的底層問題變得不那么復(fù)雜。在開發(fā)初期培育C端AR市場，對包括蘋果在內(nèi)的任何廠商來說都是不可逾越的障礙。所以蘋果還是不顧硬件實(shí)力強(qiáng)大，先選擇了算法，兼顧現(xiàn)有蘋果硬件生態(tài)推出ARkit。
ARkit推出后，谷歌也選擇了發(fā)布ARCore，這在一定程度上可以理解為對蘋果戰(zhàn)略的認(rèn)可。
與Tango相比，ARCore無疑更接近ARkit，二者都是通過軟件實(shí)現(xiàn)的。Tango主要通過專門的硬件模塊實(shí)現(xiàn)，需要專門的視覺計(jì)算芯片、攝像頭、深度相機(jī)和傳感器。
相比需要大量硬件加持的Tango，顯然沒有硬件要求的ARkit門檻要低很多。
目前ARkit是最大的AR平臺。據(jù)說Apple Store有一萬多個AR應(yīng)用。人數(shù)那么多，但是為什么除了當(dāng)年流行的《Pokeman Go》，很多人對ar應(yīng)用還是比較陌生的？
蘋果手機(jī)AR生態(tài)布局還處于初期階段。從內(nèi)容層面來說，ARkit做的AR應(yīng)用才能達(dá)到的AR效果主要是基于算法，而不是硬件層面做的真實(shí)檢測，所以能達(dá)到的效果總是有限的。
蘋果的移動終端要想提供更好的AR體驗(yàn)，需要更好的傳感器作為“一路看，一路聽”的硬支撐。
ARkit LiDAR，蘋果移動終端的AR生態(tài)開始進(jìn)入下一階段
早在2017年蘋果發(fā)布ARkit的時候，AWE聯(lián)合創(chuàng)始人、Flyby(作為ARkit的基礎(chǔ)研發(fā)被蘋果收購)聯(lián)合創(chuàng)始人Ori就表示希望iPhone X能自帶可以廣泛推廣AR的關(guān)鍵硬件：后置深度相機(jī)，而不是ARkit。
他希望深度相機(jī)能夠讓數(shù)千萬個相機(jī)感知周圍環(huán)境的形狀，讓用戶能夠創(chuàng)建豐富、準(zhǔn)確的三維地圖，并在AR Cloud上與其他用戶共享。
iPhone 12 Pro上的雷達(dá)掃描儀LiDAR，符合Ori所期望的后置深度相機(jī)，即一種可以主動交互、主動探測感知環(huán)境的硬件。
但是蘋果為什么今年要推出LiDAR呢？
其實(shí)蘋果在移動端的努力是沉淀了好幾年的。除了A系列芯片升級到A14之外，蘋果iPhone X也開始使用Face ID，首次使用OLED全屏，其屏幕設(shè)計(jì)盡可能接近“無邊無界”。
2018年，iPhone11開始使用超寬帶(UWB)技術(shù)。超寬帶技術(shù)被稱為未來磁流變儀的關(guān)鍵，可以大帶寬快速傳輸數(shù)據(jù)，實(shí)現(xiàn)短距離精確定位。新寶馬將采用UWB3.0技術(shù)的消息讓UWB為很多人所熟知。
今年10月，蘋果推出LiDar，宣布支持5G，這對AR意義重大。
AR設(shè)備需要集成高性能計(jì)算設(shè)備，所以即使蘋果手機(jī)已經(jīng)有了高性能低功耗的A13仿生芯片，適合AR/VR設(shè)備，但計(jì)算能力的問題依然是iPhone最好的AR效果的絆腳石。手機(jī)搭載A14芯片并支持5G后，可以通過高帶寬、低延遲的網(wǎng)絡(luò)將操作放到云端，實(shí)現(xiàn)輕量化。
一方面有5G加速商業(yè)化的背景，另一方面，已經(jīng)為算法做好準(zhǔn)備的ARKit，似乎自然會為LiDAR帶來合適的時機(jī)。
在LiDAR的加持下，蘋果手機(jī)不僅提高了拍攝效果，還結(jié)合了Pro-level攝像頭、運(yùn)動傳感器和iOS架構(gòu)，無論是視覺呈現(xiàn)還是與現(xiàn)實(shí)世界的交互，其AR應(yīng)用的表達(dá)效果都會有很大的提升。蘋果的移動AR體驗(yàn)也將進(jìn)入下一階段。
但是，將LiDAR集成到手機(jī)中并不容易。
為什么廠商中只有蘋果選擇了LiDAR傳感器？蘋果如何將LiDAR集成到成像系統(tǒng)中？
對于普通消費(fèi)者來說，似乎LiDAR更像是一種增強(qiáng)相機(jī)功能的輔助黑技術(shù)，但實(shí)際上它是為AR而生的。激光雷達(dá)作為探測器已經(jīng)存在多年了。它類似于廣泛用于手機(jī)攝像頭的ToF和傳統(tǒng)雷達(dá)。它基于雷達(dá)反射原理在三維空間進(jìn)行傳感和測量。
三種光束的區(qū)別在于發(fā)出的光束不同。激光雷達(dá)發(fā)射紅外激光，ToF發(fā)射紅外線，傳統(tǒng)雷達(dá)發(fā)射電磁波。三種光束中，激光雷達(dá)的波長最短，在短距離范圍內(nèi)可以達(dá)到最高的測量精度(蘋果將激光雷達(dá)的短距離范圍定義為5米)。
因此，激光雷達(dá)在雨雪天氣或相機(jī)夜間無法工作時非常實(shí)用。這項(xiàng)技術(shù)已經(jīng)廣泛應(yīng)用于自動駕駛和夜間城市拍攝系統(tǒng)，這也是LiDAR給蘋果的相機(jī)效果帶來的好處之一。
但如果只是想提高拍攝效果，LiDAR不一定是蘋果的最佳選擇。
iPhone 12 Pro問世后，很多網(wǎng)友將其與華為P40 Pro相比較。華為P40 Pro配備廣角、超廣角、3倍長焦、10倍長焦、ToF五個后置傳感器，拍攝效果毫不遜色。
由此也可以看出，蘋果選擇給iPhone配備LiDAR，并不僅僅是相機(jī)的要求。
而且LiDAR設(shè)備比較貴，體積也沒有現(xiàn)在蘋果搭載的小，可以直接集成到成像系統(tǒng)中。如果蘋果想在iPhone上搭載，就需要把價格和尺寸縮小到非常小的尺寸。
所以，當(dāng)ToF基本可以滿足智能手機(jī)的探測精度、距離等方面的要求時，即使LiDAR會帶來更好的體驗(yàn)，除了蘋果以外的手機(jī)廠商還是采用ToF傳感器。
事實(shí)上，蘋果在激光雷達(dá)的應(yīng)用和掌握上比其他制造商有優(yōu)勢，因?yàn)樗恢痹陂_發(fā)的自動駕駛汽車中使用的主要傳感器是激光雷達(dá)。
即便如此，蘋果也要解決激光雷達(dá)成本高、小型化困難的問題。
早期的激光雷達(dá)非常大，不用于民用，其應(yīng)用領(lǐng)域大多是航空航天和遙感等大型設(shè)備和裝置。隨著固態(tài)光源的發(fā)展，固態(tài)光源的尺寸逐漸縮小，有機(jī)會應(yīng)用于直升機(jī)等設(shè)備。借助激光雷達(dá)的高分辨率檢測，飛行員可以直接在顯示屏上看到場景和物體的形狀。
為了在iPhone上搭載激光雷達(dá)，蘋果采用了VCSEL激光SPAD探測器的技術(shù)組合。在利用半導(dǎo)體制造技術(shù)制造激光器時，選擇Lumentum制造的一系列垂直腔面發(fā)射體(VCSELs)代替邊緣發(fā)射激光器發(fā)射光束，并采用一套單光子雪崩二極管(SPAD)傳感器檢測返回光束。
VCSEL和SPAD都可以用常規(guī)半導(dǎo)體技術(shù)制造，都可以封裝在一個芯片上。VCSEL和SPAD的結(jié)合大大簡化了傳統(tǒng)激光雷達(dá)的設(shè)計(jì)。
而且隨著工業(yè)經(jīng)濟(jì)的擴(kuò)張，半導(dǎo)體的價格越來越便宜，基于VCSEL的傳感器越來越普遍，價格也在逐漸下降。這也是蘋果能在iPhone上搭載LiDAR的重要原因。
另外，相比專業(yè)激光雷達(dá)公司制造的高端傳感器，蘋果搭載的LiDAR性能更為深遠(yuǎn)，因此技術(shù)難度大大降低。
正是這些條件的滿足，讓蘋果成功地在移動終端上搭載了LiDAR。
激光雷達(dá)效果的實(shí)際測量
AR眼鏡被認(rèn)為是AR的終極載體，任何關(guān)于Apple Glass，一款蘋果AR眼鏡的新聞，都很容易引起大家的興趣。
只有蘋果才能做出一款沒有被證明如此吸引人的產(chǎn)品。
如果說蘋果的AR眼鏡是蘋果AR生態(tài)的終極趨勢，那么蘋果現(xiàn)有的移動AR生態(tài)肯定會有很強(qiáng)的AR眼鏡基礎(chǔ)。陀螺君大膽猜測，如果蘋果的AR生態(tài)實(shí)施順利，其未來的AR眼鏡將有很多來自蘋果移動終端的改編。
在一篇曝光的專利《微光操作的頭戴式顯示器》中，蘋果表示，搭載LiDAR的頭戴式設(shè)備可以在黑暗環(huán)境中充當(dāng)佩戴者的第三只眼睛，因此一般推測蘋果的AR眼鏡可能搭載了LiDAR。
我們不妨借用蘋果的一些典型AR應(yīng)用，一窺蘋果AR眼鏡未來可能的功能。
1.3D掃描建模應(yīng)用-《3d Scanner App》
《3d Scanner App》被稱為蘋果未來AR布局的重要軟件，適用于iPad Pro 2020、iPhone12 Pro、iPhone12 Pro Max。在激光雷達(dá)的幫助下，該應(yīng)用程序可以快速創(chuàng)建小對象和大場景的3D模型。
3D建模本來是專業(yè)水平的操作，但是隨著AR應(yīng)用的逐漸簡化，開始向建模愛好者甚至普通用戶過渡，比如《3d Scanner App》正在推出。
應(yīng)用程序操作簡單，打開應(yīng)用程序，點(diǎn)擊掃描按鈕，可以快速對場景建模。在初始掃描后，沒有真實(shí)顏色的模型可以添加“彩色化”功能，以將模型恢復(fù)到掃描的場景。
雖然模型渲染效果分辨率不夠高，但是就是油畫質(zhì)感。但是相對于昂貴的3D掃描機(jī)，只使用移動設(shè)備就可以快速建模和還原場景原型，效果非常好。
陀螺儀用《3d Scanner App》分別測量人和物體，操作真的很方便，掃描過程流暢，中間不卡。但掃描后，如果掃描對象的復(fù)雜度稍高，特別是選擇高精度測量時，等待時間容易讓人懷疑自己的生命。
仔細(xì)掃描和粗略掃描，結(jié)果大相徑庭。被掃描物體的復(fù)雜程度也會對掃描結(jié)果產(chǎn)生直接影響，粗掃描得到的模型圖像質(zhì)量是感人的。
掃描具有高均勻性、低復(fù)雜性和不透明外觀的對象，例如墻壁、地板.或垃圾桶，仍然是油畫質(zhì)量，但測量精度和恢復(fù)程度是好的?？梢钥闯鱿聢D垃圾桶的尺寸精度和色彩還原度都很高。
對比鮮明，陀螺君掃描盆景和座機(jī)，座機(jī)細(xì)節(jié)基本掃描不出來，模型完全是火后畫風(fēng)。
而盆景在物理細(xì)節(jié)上更為豐富，重疊的葉子基本處于處處透光的狀態(tài)。在陀螺儀沒有經(jīng)過非常仔細(xì)掃描的前提下，掃描的結(jié)果與枕頭和垃圾桶的結(jié)果有很大的不同。
《3d Scanner App》掃描人的效果比想象的要好。雖然掃描的不夠精細(xì)，人物模型看起來也怪怪的沒有靈魂，但是發(fā)色過渡、服裝質(zhì)感、材質(zhì)等細(xì)節(jié)都很高。從大小比例來看，也可以和真人一致。
通過視頻我們還可以看到，當(dāng)真人和3D模型放置在同一個空間時，兩者之間存在明顯的遮擋關(guān)系。人走在模型前面，模型明顯被遮擋，雖然會有穿透。這種互動歸功于對激光雷達(dá)帶來的深度信息的理解。
陀螺君也嘗試過掃描光澤度好的金屬小物件，金屬質(zhì)感反射嚴(yán)重。掃描的模型可以看做金屬，但細(xì)節(jié)嚴(yán)重缺失。
總體來說，《3d Scanner App》在LiDAR的加持下實(shí)現(xiàn)了更高速度和精度的掃描建模，雖然建模效果在分辨率和細(xì)節(jié)上與專業(yè)建模有一定差距。
但未來精度提高后，如果能達(dá)到理想狀態(tài)，佩戴AR眼鏡的用戶就有可能對任何現(xiàn)實(shí)場景進(jìn)行建模，創(chuàng)造出自己的小孿生世界。如果結(jié)合成熟的3D打印，未來有可能在一定程度上實(shí)現(xiàn)“萬物克隆”。
《3d Scanner App》比照片和視頻還原程度更高，是一種全新的錄制方式。此外，《3d Scanner App》與三維建模網(wǎng)站SketchFab建立了直接聯(lián)系，并處理了文件格式、共享和查看方法等細(xì)節(jié)。
所以對于用戶來說，從掃描建模到編輯渲染再到共享，線是完整的，未來有可能成為建模愛好者或者普通用戶的社區(qū)中心。
陀螺君認(rèn)為，未來可能會出現(xiàn)Facebook、Twitter、朋友圈等具有分享功能的3D建模爆炸式應(yīng)用。用戶可以用AR眼鏡掃描上傳建模，遇到任何想要建模的對象都可以和朋友分享。
2.AR游戲《Angry Birds AR: Isle of Pigs》
增強(qiáng)現(xiàn)實(shí)游戲是增強(qiáng)現(xiàn)實(shí)應(yīng)用的重要方向之一?！禔ngry Birds AR: Isle of Pigs》是2019年在原憤怒的小鳥IP基礎(chǔ)上開發(fā)的AR版本，由ARKit開發(fā)，添加了增強(qiáng)現(xiàn)實(shí)元素。
AR版讓攝像頭在游戲開始前掃描真實(shí)環(huán)境，實(shí)現(xiàn)環(huán)境與游戲的融合。
玩家在真實(shí)環(huán)境的選定范圍內(nèi)搭建3D游戲建筑，彈射時通過移動身體在現(xiàn)實(shí)世界中的位置找到最佳射擊角度。人體在運(yùn)動的時候，菜單也會隨著玩家一起運(yùn)動，保證方向?qū)χ婕摇?
試用陀螺君后發(fā)現(xiàn)，與沒有LiDAR的版本相比，新版本的《Angry Birds AR: Isle of Pigs》游戲場景對有深度信息的真實(shí)場景的反應(yīng)有所不同。
從光影效果來看，我們在視頻中可以看到，與上一版的不成形模糊陰影相比，搭載LiDAR的版本的游戲畫面中，建筑物、彈弓、植物的陰影輪廓和邊界都很清晰。從手機(jī)上看，漂浮在空中的氣球幾乎與真實(shí)背景完全融為一體，但不是虛擬物體，所以非常真實(shí)。
放大圖片，畫質(zhì)還是很清晰的，建筑物、動植物的細(xì)節(jié)都呈現(xiàn)的很好。虛擬建筑與地面之間的穩(wěn)定性非常高，非常真實(shí)，表面幾乎沒有漂浮物，穩(wěn)定性好，即使陀螺晃動手機(jī)，也沒有可見漂移或其他不穩(wěn)定情況。
從這些變化可以看出，ARkit與LiDAR結(jié)合后，AR游戲的交互逼真度進(jìn)一步提高，這得益于LiDAR的深度空間掃描和感知能力。
隨著蘋果手機(jī)性能的不斷迭代，它將擁有比A14芯片更強(qiáng)大的AI計(jì)算能力。未來的AR游戲可能會識別真實(shí)物體，比如桌面上的杯子或手機(jī)，從而觸發(fā)一些虛擬物體和真實(shí)物體的交互。
強(qiáng)交互往往意味著設(shè)備中要集成大量的傳感器。以目前的VR頭部顯示為例，要想實(shí)現(xiàn)6DOF交互，必須集成一個深度相機(jī)。想要輕薄，只能使用超短焦方案，設(shè)備只能看電影。
所有制造商都在性能、易用性和著陸能力之間尋求平衡。對于蘋果來說，領(lǐng)先的A系列芯片可以在AI算法層面上為手機(jī)提供大量的AR功能，體現(xiàn)在ARKit上，不占用硬件體積，甚至對消費(fèi)者沒有成本。
后來，激光雷達(dá)的使用似乎進(jìn)一步提高了ARKit的性能。——蘋果的想法是給硬件配備輕量級的軟件和算法，讓蘋果設(shè)備在嚴(yán)格的成本控制和設(shè)備迭代跨度下，逐步被賦予更強(qiáng)的AR性能。
毫無疑問，未來蘋果的AR生態(tài)系統(tǒng)將永遠(yuǎn)走算法服務(wù)硬件的道路，這也將有助于蘋果打造出比同行業(yè)更輕薄的AR硬件產(chǎn)品。所以蘋果有可能生產(chǎn)出與眼鏡形狀極其接近，與目前行業(yè)中臃腫的AR眼鏡形狀不同的產(chǎn)品。
結(jié)論
目前不僅ARkit，蘋果也推出了RealityKit、Reality Composer、Xcode、AR Quick Look等工具。從而使其移動終端上AR生態(tài)布局的完善程度在軟件和算法層面不斷提高。
對于蘋果來說，現(xiàn)在最缺的就是好的軟件內(nèi)容來吸引用戶去適應(yīng)AR的存在，蘋果的LiDAR的意義就在這里。
羅認(rèn)為，蘋果AR生態(tài)未來能夠?qū)崿F(xiàn)的理想狀態(tài)，就是將手機(jī)用戶遷移到AR眼鏡。AR眼鏡推出后，會有取代和超越手機(jī)的基本功能，手機(jī)的移動終端也培養(yǎng)了成熟的AR軟件開發(fā)者，融入用戶生活的殺手級應(yīng)用，以及對AR接受度高的用戶。
憑借蘋果移動終端龐大的用戶基礎(chǔ)，積累的軟件基礎(chǔ)，以及與Android完全不同的高度統(tǒng)一的封閉生態(tài)，如果蘋果能夠成功，蘋果AR眼鏡的推出必將帶來新的浪潮。