探索ams的3D dToF方案及應(yīng)用分析

iPhoneX的結(jié)構(gòu)光將3D感知/成像在消費(fèi)電子領(lǐng)域徹底帶火了。其后結(jié)構(gòu)光、3DToF市場(chǎng)都獲得了相當(dāng)快速的成長。不過2020款iPadPro發(fā)布時(shí)，其上所謂的“LiDAR”攝像頭仍然挺讓人驚訝，包括iPhone12Pro手機(jī)也沿用了這種3D感知方案：5米的測(cè)量范圍的dToF方案。
我們?cè)凇妒謾C(jī)的3D感知能力——消費(fèi)電子ToF技術(shù)與市場(chǎng)分析報(bào)告》中曾提過，主流的兩大類ToF測(cè)距方法，iToF與dToF（indirectToF與directToF）。這兩種方案各有利弊，其中dToF在手機(jī)拍照的激光對(duì)焦、前置距離傳感，以及投影機(jī)對(duì)焦等領(lǐng)域已經(jīng)有比較廣泛的應(yīng)用了，但消費(fèi)電子的3D感知少見dToF方案。
除了蘋果之外，市面上主流的手機(jī)、平板所用的3DToF，基本上都是iToF。這主要是因?yàn)閕ToF技術(shù)整體成熟，且成本控制到位。而dToF在3D感知方面似乎面臨諸多挑戰(zhàn)。
上周的MWC上海展會(huì)上，ams（艾邁斯半導(dǎo)體）宣布與ArcSoft（虹軟）合作推出面向移動(dòng)設(shè)備的后置3DdToF傳感解決方案。這套方案預(yù)計(jì)會(huì)在今年年底開始量產(chǎn)。也就是說，明年市場(chǎng)上可能就會(huì)有大量采用dToF攝像頭的Android手機(jī)和其他移動(dòng)設(shè)備問世了。
借ams的這套方案，我們也有機(jī)會(huì)更深入地去了解dToF這種測(cè)距方法。
現(xiàn)在流行的iToF存在一些問題
ToF（TimeofFlight）是一種常見的測(cè)距方法，如果將其限定在光學(xué)領(lǐng)域，則ToF光學(xué)測(cè)距是指，要測(cè)得ToF模組與場(chǎng)景中某個(gè)對(duì)象的距離，由ToF模組的光源向該對(duì)象發(fā)出光（子）。光折返回ToF模組傳感器，計(jì)算整個(gè)過程里“光的飛行時(shí)間”，就能測(cè)得距離。
這個(gè)原理本身實(shí)際上更偏向于dToF，即直接測(cè)量。說得更具體些，dToF是指由發(fā)射端發(fā)出一個(gè)激光脈沖，經(jīng)過場(chǎng)景中某個(gè)對(duì)象反射，回到接收端，由接收端的光電探測(cè)器檢測(cè)到。藉由抽象的“計(jì)時(shí)電路”測(cè)量全過程消耗時(shí)間，則獲得距離信息。
iToF實(shí)際上還可以做切分，包括p-iToF（基于脈沖的iToF）以及cw-iToF（基于連續(xù)波的iToF）?，F(xiàn)在手機(jī)上比較常見的3DToF方案普遍是cw-iToF測(cè)量方法。這種連續(xù)波ToF方法，是針對(duì)發(fā)射端的照明，應(yīng)用一個(gè)周期性的調(diào)制信號(hào)，并針對(duì)反射光測(cè)量相位差，以此來計(jì)算距離。cw-iToF可能需要多次相位差采樣來獲得結(jié)果。
Cw-iToF方法示意，這里的c代表光速，f代表調(diào)制頻率，??代表接收信號(hào)的相位差
對(duì)于一些精度要求并不高的應(yīng)用而言，cw-iToF方法的優(yōu)勢(shì)在于實(shí)施起來會(huì)更簡(jiǎn)單（但精度要求高時(shí)，cwToF信號(hào)調(diào)制實(shí)施難度也不小），其系統(tǒng)成本遠(yuǎn)低于dToF；而且cw-iToF具備較大的彈性、更快的讀出速度，也比較容易做RoI輸出這類功能。
但它也存在一個(gè)致命缺陷，從上圖中的深度計(jì)算表達(dá)式可知，要獲得更長的測(cè)量距離就需要更慢的調(diào)制頻率（f），但這樣就會(huì)限制距離精度。距離精度與背景光強(qiáng)度、信號(hào)強(qiáng)度、最大不模糊距離（c/2f）有關(guān)。在對(duì)象、背景光固定的情況下，反射信號(hào)強(qiáng)度隨距離增加而下降，較遠(yuǎn)距離的對(duì)象測(cè)距就會(huì)有顯著的精度降低。
所以除了蘋果之外，市面上現(xiàn)有搭載了3DToF模組的手機(jī)測(cè)量距離普遍是比較受限的。ams大中華區(qū)應(yīng)用市場(chǎng)總監(jiān)BingXu博士也提到了這一點(diǎn)。“iToF往往采用泛光投射，其距離和精度這對(duì)矛盾，在原理上很難調(diào)和。”
“iToF在不同距離下，精度是不同的，基本上是線性遞減。可能測(cè)1m的時(shí)候，精度是10mm或20mm，但距離在2m的時(shí)候精度就只有40mm。”BingXu博士說，“傳統(tǒng)的iToF做不了遠(yuǎn)距離，最多2、3m，絕對(duì)不能超過5m。”“但dToF是直接測(cè)來回時(shí)間，一個(gè)脈沖出去到回來，是直接的測(cè)量方法。直接的測(cè)量方法可以測(cè)得很準(zhǔn)，跟距離長短沒什么關(guān)系。”
不過實(shí)際上，多調(diào)制頻率方法是可以緩解cw-iToF的這一問題的，只不過系統(tǒng)復(fù)雜度會(huì)增加。除此之外，cw-iToF方法相比p-iToF和dToF，也更容易受到多徑效應(yīng)（MultipathEffects，主要是基于調(diào)幅連續(xù)波的ToF）、解調(diào)錯(cuò)誤（如場(chǎng)景對(duì)象的光散射、材質(zhì)反射率低等）、運(yùn)動(dòng)偽像等的影響。
另外從系統(tǒng)的角度來看，cw-iToF通常采用多調(diào)制頻率下相關(guān)函數(shù)的多次采樣，再加上多幀處理，后端信號(hào)處理的復(fù)雜度會(huì)比較高。所以發(fā)布會(huì)上也提到，dToF比iToF在做3D渲染時(shí)會(huì)快很多，“三維重建過程中，整個(gè)系統(tǒng)運(yùn)行、算法運(yùn)行的時(shí)間會(huì)有很大的優(yōu)勢(shì)。”
那么dToF為何一直沒有普及
dToF對(duì)上述很多問題都不敏感，包括前文提到的原理更簡(jiǎn)單，距離精度不會(huì)隨測(cè)量距離衰減，也更容易發(fā)現(xiàn)多徑反射問題。但dToF在消費(fèi)電子產(chǎn)品的3D感知應(yīng)用上卻很少，主要是因?yàn)槠涑杀靖?。技術(shù)層面，dToF對(duì)于發(fā)射端的光源、接收端的傳感器，還有實(shí)現(xiàn)同步、時(shí)間檢測(cè)相關(guān)電路要求也高。
而且dToF由于傳感器電路設(shè)計(jì)相對(duì)復(fù)雜，包括淬火電路、像素內(nèi)TDC（timetodigitalconverter）等，似乎很難做到高像素（接收端傳感器分辨率）——雖然這兩年通過3D堆疊等技術(shù)正在實(shí)現(xiàn)各種改進(jìn)。所以dToF此前一直局限在諸如激光對(duì)焦之類的單點(diǎn)測(cè)距應(yīng)用上。像iPadPro2020這樣應(yīng)用3萬像素dToF方案的設(shè)備此前是真的很少見。ams在發(fā)布會(huì)上給出一張dToF與iToF方法的簡(jiǎn)單對(duì)比，從距離精度、動(dòng)態(tài)范圍、環(huán)境光抑制、分辨率、功耗、后處理功耗、抗干擾能力等角度做了比較，前文大致上也提到了。單就這些項(xiàng)目的比較來看，dToF主要在“分辨率”——也就是XY平面上的精度，會(huì)相對(duì)較弱。
不過ams產(chǎn)品線高級(jí)市場(chǎng)經(jīng)理SarahCheng提到：“以現(xiàn)在流行的增強(qiáng)現(xiàn)實(shí)AR為例，低功耗和遠(yuǎn)距離成為更重要的技術(shù)指標(biāo)，相較之下分辨率的要求其實(shí)并沒有那么強(qiáng)烈。”ams這次所推的方案，在應(yīng)用場(chǎng)景上也更偏AR。
上面這張圖是不同的應(yīng)用，對(duì)于分辨率、功耗、測(cè)量距離這三個(gè)指標(biāo)的不同要求。”其中影像增強(qiáng)對(duì)分辨率要求更高，而AR則對(duì)距離有更高的要求。“AR對(duì)3D攝像頭分辨率要求其實(shí)并不是很高，一方面可以避免過長的重建時(shí)間和功耗，而且低分辨率可以通過幀累計(jì)補(bǔ)償。”SarahCheng說。
BingXu博士提到：“我一直認(rèn)為每項(xiàng)技術(shù)，要看具體的應(yīng)用?？偰苷业竭m合的應(yīng)用方案，無論是dToF還是iToF。我們說dToF，特別是在AR這個(gè)應(yīng)用里面，在距離、精度、功耗方面是有絕對(duì)優(yōu)勢(shì)的。”那么就來看一看，ams這次所推的方案究竟是什么樣。
ams的3DdToF方案
ams的這套3DdToF方案在MWC上海展會(huì)上已經(jīng)有了展示，且發(fā)布會(huì)上的演示效果上佳。先來看看這套dToF方案的一些關(guān)鍵參數(shù)：
包括1200個(gè)深度點(diǎn)，以及室外5m、室內(nèi)10m以上的檢測(cè)距離；在全測(cè)量距離內(nèi)<8mm的距離
；幀率最高100fps，在30fps幀率下功耗<300mW，“這對(duì)手機(jī)平臺(tái)就非常友好”。
從上圖也可見，系統(tǒng)分為兩個(gè)模組，包括高功率照明模組，以及SPAD3D攝像頭模組——即發(fā)射端和接收端。照明模組主要是VCSEL激光器——這是ams的傳統(tǒng)強(qiáng)項(xiàng)了，包括多結(jié)VCSEL實(shí)現(xiàn)極高的峰值功率，還有VCSEL驅(qū)動(dòng)器系統(tǒng)，針對(duì)超短脈沖的優(yōu)化連接，實(shí)現(xiàn)高距離精度，以及低EMI輻射；整體組成還有配套的點(diǎn)陣光學(xué)系統(tǒng)（包括衍射光學(xué)器件等）；以及SPAD傳感器——dToF常見的一種光敏器件，一個(gè)光生載流子就能觸發(fā)大量雪崩電流。
且兩個(gè)模組分開，“手機(jī)廠商設(shè)計(jì)整個(gè)系統(tǒng)時(shí)，有更大的靈活性，在主板上做零部件的排列和設(shè)計(jì)。”SarahCheng說。另外還包括一些周邊的特性，如光源需要確保人眼安全相關(guān)的電路等。
ams方面列出本次所推3DdToF方案的幾個(gè)主要特性包括：
?在所有光強(qiáng)條件下（強(qiáng)光，弱光，室內(nèi)，室外，較復(fù)雜的環(huán)境光等），在恒定分辨率下可實(shí)現(xiàn)較大的距離檢測(cè)范圍和較高的（不變的）距離檢測(cè)精度。其中“所有光強(qiáng)條件”也是絕大部分ToF方案的宣傳點(diǎn)，包括對(duì)背景高光的抑制技術(shù)。
?高環(huán)境光抗擾性，與市面上提供的3DToF解決方案相比，“峰值功率高出20倍”；
?針對(duì)移動(dòng)設(shè)備，優(yōu)化最低平均功耗，特別針對(duì)房間掃描距離范圍內(nèi)高幀率（>30fps）運(yùn)行環(huán)境。
從這些特性也可見，這套方案的應(yīng)用偏向功耗敏感的移動(dòng)設(shè)備，但同時(shí)又需要為這樣的設(shè)備賦予比較可靠的AR能力。
針對(duì)移動(dòng)設(shè)備后置3DdToF傳感的完整解決方案中，還包含了ArcSoft的中間件，結(jié)合RGB攝像頭輸出將depthmap轉(zhuǎn)為精確的場(chǎng)景重建。再上層還有ArcSoft軟件，將3D圖像輸出與移動(dòng)設(shè)備顯示屏結(jié)合，提供AR應(yīng)用。“降低手機(jī)廠商集成的復(fù)雜度和工作量”，“與Android操作環(huán)境集成，讓移動(dòng)設(shè)備OEM能夠直接集成新的dToF功能”。
單就3DdToF光學(xué)傳感解決方案來說，這一直是ams的長項(xiàng)。ams大中華區(qū)銷售與市場(chǎng)高級(jí)副總裁陳平路在會(huì)上提到，“從我們的技術(shù)平臺(tái)、產(chǎn)品平臺(tái)基礎(chǔ)上發(fā)展起來的解決方案，光學(xué)傳感器系統(tǒng)的解決方案，包括算法、軟件，目前我們認(rèn)為在光學(xué)傳感器領(lǐng)域，我們應(yīng)該說是唯一的一家可以提供全平臺(tái)解決方案的這么一個(gè)公司。”表現(xiàn)在這套“垂直鏈的光學(xué)元器件技術(shù)，完全是從ams來的。”此前我們見到很多來自其他廠商的ToF和結(jié)構(gòu)光模組方案，也都能見到ams提供的組成部分。
3DToF的應(yīng)用方向在哪兒？
SarahCheng在會(huì)上演示了一個(gè)demo，是這套方案的完整體現(xiàn)（包括ArcSoft的中間件及軟件算法），也體現(xiàn)這套3DdToF方案實(shí)際相比iToF的優(yōu)勢(shì)。相比一般的iToF，dToF在3D渲染過程中提供了更高質(zhì)量的深度圖，演示中有更精細(xì)的3D網(wǎng)格細(xì)節(jié)：包括覆蓋范圍更廣，渲染速度更快；對(duì)于弱光環(huán)境、對(duì)象邊角、紋理特征不明確的光滑平面等，dToF表現(xiàn)也遠(yuǎn)優(yōu)于iToF，從深度信息的精度到渲染速度。
另外SarahCheng也演示了這套方案在多徑干擾消除方面的優(yōu)勢(shì)，能夠更好地分辨弱光環(huán)境、復(fù)雜對(duì)象的前后關(guān)系。這些與前文探討的dToF與iToF兩者的特點(diǎn)相符。這讓我們對(duì)明年Android移動(dòng)設(shè)備逐漸普及3DdToF方案更為期待。
事實(shí)上ams并沒有在這場(chǎng)發(fā)布會(huì)上具體去談，ams是如何在技術(shù)層面實(shí)現(xiàn)這套方案面向移動(dòng)設(shè)備的大規(guī)模量產(chǎn)和應(yīng)用的；以及ams在這個(gè)過程中究竟解決了哪些技術(shù)難題。不過這套方案必然需要在3DdToF的成本、功耗、距離精度、分辨率等參數(shù)上做出權(quán)衡，尤其是在成本不會(huì)很高的前提下確保性能，令其適用于移動(dòng)消費(fèi)電子設(shè)備，這是大方向的難點(diǎn)所在。BingXu博士也在講話中提到，“我相信隨著量的增加，工藝性能提高，以及ams本土化計(jì)劃推進(jìn)，價(jià)格成本就會(huì)往下降。”
最后比較值得關(guān)注的話題，還是落腳在消費(fèi)類的移動(dòng)設(shè)備搭載此類3D感知方案，究竟能夠用來做什么。畢竟這才是像ams這樣的3DdToF方案能不能普及的驅(qū)動(dòng)力。
事實(shí)上，3DToF在手機(jī)和各種移動(dòng)設(shè)備上始終沒有什么殺手級(jí)應(yīng)用。現(xiàn)有的一些3DToF方案在手機(jī)上的應(yīng)用可能包括成像增強(qiáng)，例如利用深度圖來做對(duì)焦輔助、背景虛化，或智能美顏等。此前有評(píng)論認(rèn)為，3D感知實(shí)現(xiàn)的智能美顏可能會(huì)成為ToF市場(chǎng)需求的殺手級(jí)應(yīng)用，但事實(shí)上也并未如預(yù)期。
對(duì)此，SarahCheng表示：“很多手機(jī)廠可能在一些平臺(tái)上搭載過ToF后又棄用。其中一個(gè)關(guān)鍵因素是，ToF本身帶來的成本壓力，以及它為用戶帶來的收益很有限。這是因?yàn)閕ToF技術(shù)上的限制，導(dǎo)致大家對(duì)ToF接受度有限。”前文提及，dToF相較iToF有諸多方面的優(yōu)勢(shì)，“使手機(jī)后置的一些像AR這樣的應(yīng)用更加多元化，促使手機(jī)廠商去采用這樣的技術(shù)。”以前“dToF門檻高，能選的方案上不多。”
“就我們現(xiàn)在的計(jì)劃來看，2021年底先以智能手機(jī)為目標(biāo)平臺(tái)，第二波會(huì)慢慢延續(xù)到AR設(shè)備，比如AR眼鏡等產(chǎn)品上。”SarahCheng說，“最新版iPadPro和iPhone的出現(xiàn)，搭載的dToF技術(shù)的深度相機(jī)已經(jīng)成為3D視覺在消費(fèi)場(chǎng)景的應(yīng)用推動(dòng)了新的機(jī)會(huì)。”
“引用他們的一句標(biāo)語，‘Pro級(jí)攝像頭打通了真實(shí)和虛擬的交界’，在我們看來，這是未來手機(jī)后置3D應(yīng)用的大趨勢(shì)和核心，也就是更加沉浸式的AR用戶體驗(yàn)，逐漸融入現(xiàn)有的各大游戲、社交、網(wǎng)上購物、室內(nèi)裝潢、AR導(dǎo)游地圖等線上應(yīng)用平臺(tái)和軟件。”
BingXu博士還補(bǔ)充說：“我們首先會(huì)推消費(fèi)電子類，這個(gè)市場(chǎng)很大。從消費(fèi)電子推到工業(yè)界，各種各樣的工業(yè)界，只要測(cè)距離、測(cè)體積，需要3D建模的我們都會(huì)去推。”