探索ams的3D dToF方案及應用分析

iPhoneX的結構光將3D感知/成像在消費電子領域徹底帶火了。其后結構光、3DToF市場都獲得了相當快速的成長。不過2020款iPadPro發(fā)布時，其上所謂的“LiDAR”攝像頭仍然挺讓人驚訝，包括iPhone12Pro手機也沿用了這種3D感知方案：5米的測量范圍的dToF方案。
我們在《手機的3D感知能力——消費電子ToF技術與市場分析報告》中曾提過，主流的兩大類ToF測距方法，iToF與dToF（indirectToF與directToF）。這兩種方案各有利弊，其中dToF在手機拍照的激光對焦、前置距離傳感，以及投影機對焦等領域已經有比較廣泛的應用了，但消費電子的3D感知少見dToF方案。
除了蘋果之外，市面上主流的手機、平板所用的3DToF，基本上都是iToF。這主要是因為iToF技術整體成熟，且成本控制到位。而dToF在3D感知方面似乎面臨諸多挑戰(zhàn)。
上周的MWC上海展會上，ams（艾邁斯半導體）宣布與ArcSoft（虹軟）合作推出面向移動設備的后置3DdToF傳感解決方案。這套方案預計會在今年年底開始量產。也就是說，明年市場上可能就會有大量采用dToF攝像頭的Android手機和其他移動設備問世了。
借ams的這套方案，我們也有機會更深入地去了解dToF這種測距方法。
現在流行的iToF存在一些問題
ToF（TimeofFlight）是一種常見的測距方法，如果將其限定在光學領域，則ToF光學測距是指，要測得ToF模組與場景中某個對象的距離，由ToF模組的光源向該對象發(fā)出光（子）。光折返回ToF模組傳感器，計算整個過程里“光的飛行時間”，就能測得距離。
這個原理本身實際上更偏向于dToF，即直接測量。說得更具體些，dToF是指由發(fā)射端發(fā)出一個激光脈沖，經過場景中某個對象反射，回到接收端，由接收端的光電探測器檢測到。藉由抽象的“計時電路”測量全過程消耗時間，則獲得距離信息。
iToF實際上還可以做切分，包括p-iToF（基于脈沖的iToF）以及cw-iToF（基于連續(xù)波的iToF）?，F在手機上比較常見的3DToF方案普遍是cw-iToF測量方法。這種連續(xù)波ToF方法，是針對發(fā)射端的照明，應用一個周期性的調制信號，并針對反射光測量相位差，以此來計算距離。cw-iToF可能需要多次相位差采樣來獲得結果。Cw-iToF方法示意，這里的c代表光速，f代表調制頻率，??代表接收信號的相位差
對于一些精度要求并不高的應用而言，cw-iToF方法的優(yōu)勢在于實施起來會更簡單（但精度要求高時，cwToF信號調制實施難度也不小），其系統(tǒng)成本遠低于dToF；而且cw-iToF具備較大的彈性、更快的讀出速度，也比較容易做RoI輸出這類功能。
但它也存在一個致命缺陷，從上圖中的深度計算表達式可知，要獲得更長的測量距離就需要更慢的調制頻率（f），但這樣就會限制距離精度。距離精度與背景光強度、信號強度、最大不模糊距離（c/2f）有關。在對象、背景光固定的情況下，反射信號強度隨距離增加而下降，較遠距離的對象測距就會有顯著的精度降低。
所以除了蘋果之外，市面上現有搭載了3DToF模組的手機測量距離普遍是比較受限的。ams大中華區(qū)應用市場總監(jiān)BingXu博士也提到了這一點。“iToF往往采用泛光投射，其距離和精度這對矛盾，在原理上很難調和。”
“iToF在不同距離下，精度是不同的，基本上是線性遞減。可能測1m的時候，精度是10mm或20mm，但距離在2m的時候精度就只有40mm。”BingXu博士說，“傳統(tǒng)的iToF做不了遠距離，最多2、3m，絕對不能超過5m。”“但dToF是直接測來回時間，一個脈沖出去到回來，是直接的測量方法。直接的測量方法可以測得很準，跟距離長短沒什么關系。”
不過實際上，多調制頻率方法是可以緩解cw-iToF的這一問題的，只不過系統(tǒng)復雜度會增加。除此之外，cw-iToF方法相比p-iToF和dToF，也更容易受到多徑效應（MultipathEffects，主要是基于調幅連續(xù)波的ToF）、解調錯誤（如場景對象的光散射、材質反射率低等）、運動偽像等的影響。
另外從系統(tǒng)的角度來看，cw-iToF通常采用多調制頻率下相關函數的多次采樣，再加上多幀處理，后端信號處理的復雜度會比較高。所以發(fā)布會上也提到，dToF比iToF在做3D渲染時會快很多，“三維重建過程中，整個系統(tǒng)運行、算法運行的時間會有很大的優(yōu)勢。”
那么dToF為何一直沒有普及
dToF對上述很多問題都不敏感，包括前文提到的原理更簡單，距離精度不會隨測量距離衰減，也更容易發(fā)現多徑反射問題。但dToF在消費電子產品的3D感知應用上卻很少，主要是因為其成本更高。技術層面，dToF對于發(fā)射端的光源、接收端的傳感器，還有實現同步、時間檢測相關電路要求也高。
而且dToF由于傳感器電路設計相對復雜，包括淬火電路、像素內TDC（timetodigitalconverter）等，似乎很難做到高像素（接收端傳感器分辨率）——雖然這兩年通過3D堆疊等技術正在實現各種改進。所以dToF此前一直局限在諸如激光對焦之類的單點測距應用上。像iPadPro2020這樣應用3萬像素dToF方案的設備此前是真的很少見。ams在發(fā)布會上給出一張dToF與iToF方法的簡單對比，從距離精度、動態(tài)范圍、環(huán)境光抑制、分辨率、功耗、后處理功耗、抗干擾能力等角度做了比較，前文大致上也提到了。單就這些項目的比較來看，dToF主要在“分辨率”——也就是XY平面上的精度，會相對較弱。
不過ams產品線高級市場經理SarahCheng提到：“以現在流行的增強現實AR為例，低功耗和遠距離成為更重要的技術指標，相較之下分辨率的要求其實并沒有那么強烈。”ams這次所推的方案，在應用場景上也更偏AR。

上面這張圖是不同的應用，對于分辨率、功耗、測量距離這三個指標的不同要求。”其中影像增強對分辨率要求更高，而AR則對距離有更高的要求。“AR對3D攝像頭分辨率要求其實并不是很高，一方面可以避免過長的重建時間和功耗，而且低分辨率可以通過幀累計補償。”SarahCheng說。
BingXu博士提到：“我一直認為每項技術，要看具體的應用?？偰苷业竭m合的應用方案，無論是dToF還是iToF。我們說dToF，特別是在AR這個應用里面，在距離、精度、功耗方面是有絕對優(yōu)勢的。”那么就來看一看，ams這次所推的方案究竟是什么樣。
ams的3DdToF方案
ams的這套3DdToF方案在MWC上海展會上已經有了展示，且發(fā)布會上的演示效果上佳。先來看看這套dToF方案的一些關鍵參數：

包括1200個深度點，以及室外5m、室內10m以上的檢測距離；在全測量距離內<8mm的距離
；幀率最高100fps，在30fps幀率下功耗<300mW，“這對手機平臺就非常友好”。
從上圖也可見，系統(tǒng)分為兩個模組，包括高功率照明模組，以及SPAD3D攝像頭模組——即發(fā)射端和接收端。照明模組主要是VCSEL激光器——這是ams的傳統(tǒng)強項了，包括多結VCSEL實現極高的峰值功率，還有VCSEL驅動器系統(tǒng)，針對超短脈沖的優(yōu)化連接，實現高距離精度，以及低EMI輻射；整體組成還有配套的點陣光學系統(tǒng)（包括衍射光學器件等）；以及SPAD傳感器——dToF常見的一種光敏器件，一個光生載流子就能觸發(fā)大量雪崩電流。
且兩個模組分開，“手機廠商設計整個系統(tǒng)時，有更大的靈活性，在主板上做零部件的排列和設計。”SarahCheng說。另外還包括一些周邊的特性，如光源需要確保人眼安全相關的電路等。
ams方面列出本次所推3DdToF方案的幾個主要特性包括：
?在所有光強條件下（強光，弱光，室內，室外，較復雜的環(huán)境光等），在恒定分辨率下可實現較大的距離檢測范圍和較高的（不變的）距離檢測精度。其中“所有光強條件”也是絕大部分ToF方案的宣傳點，包括對背景高光的抑制技術。
?高環(huán)境光抗擾性，與市面上提供的3DToF解決方案相比，“峰值功率高出20倍”；
?針對移動設備，優(yōu)化最低平均功耗，特別針對房間掃描距離范圍內高幀率（>30fps）運行環(huán)境。
從這些特性也可見，這套方案的應用偏向功耗敏感的移動設備，但同時又需要為這樣的設備賦予比較可靠的AR能力。
針對移動設備后置3DdToF傳感的完整解決方案中，還包含了ArcSoft的中間件，結合RGB攝像頭輸出將depthmap轉為精確的場景重建。再上層還有ArcSoft軟件，將3D圖像輸出與移動設備顯示屏結合，提供AR應用。“降低手機廠商集成的復雜度和工作量”，“與Android操作環(huán)境集成，讓移動設備OEM能夠直接集成新的dToF功能”。
單就3DdToF光學傳感解決方案來說，這一直是ams的長項。ams大中華區(qū)銷售與市場高級副總裁陳平路在會上提到，“從我們的技術平臺、產品平臺基礎上發(fā)展起來的解決方案，光學傳感器系統(tǒng)的解決方案，包括算法、軟件，目前我們認為在光學傳感器領域，我們應該說是唯一的一家可以提供全平臺解決方案的這么一個公司。”表現在這套“垂直鏈的光學元器件技術，完全是從ams來的。”此前我們見到很多來自其他廠商的ToF和結構光模組方案，也都能見到ams提供的組成部分。
3DToF的應用方向在哪兒？
SarahCheng在會上演示了一個demo，是這套方案的完整體現（包括ArcSoft的中間件及軟件算法），也體現這套3DdToF方案實際相比iToF的優(yōu)勢。

相比一般的iToF，dToF在3D渲染過程中提供了更高質量的深度圖，演示中有更精細的3D網格細節(jié)：包括覆蓋范圍更廣，渲染速度更快；對于弱光環(huán)境、對象邊角、紋理特征不明確的光滑平面等，dToF表現也遠優(yōu)于iToF，從深度信息的精度到渲染速度。
另外SarahCheng也演示了這套方案在多徑干擾消除方面的優(yōu)勢，能夠更好地分辨弱光環(huán)境、復雜對象的前后關系。這些與前文探討的dToF與iToF兩者的特點相符。這讓我們對明年Android移動設備逐漸普及3DdToF方案更為期待。
事實上ams并沒有在這場發(fā)布會上具體去談，ams是如何在技術層面實現這套方案面向移動設備的大規(guī)模量產和應用的；以及ams在這個過程中究竟解決了哪些技術難題。不過這套方案必然需要在3DdToF的成本、功耗、距離精度、分辨率等參數上做出權衡，尤其是在成本不會很高的前提下確保性能，令其適用于移動消費電子設備，這是大方向的難點所在。BingXu博士也在講話中提到，“我相信隨著量的增加，工藝性能提高，以及ams本土化計劃推進，價格成本就會往下降。”
最后比較值得關注的話題，還是落腳在消費類的移動設備搭載此類3D感知方案，究竟能夠用來做什么。畢竟這才是像ams這樣的3DdToF方案能不能普及的驅動力。
事實上，3DToF在手機和各種移動設備上始終沒有什么殺手級應用?，F有的一些3DToF方案在手機上的應用可能包括成像增強，例如利用深度圖來做對焦輔助、背景虛化，或智能美顏等。此前有評論認為，3D感知實現的智能美顏可能會成為ToF市場需求的殺手級應用，但事實上也并未如預期。
對此，SarahCheng表示：“很多手機廠可能在一些平臺上搭載過ToF后又棄用。其中一個關鍵因素是，ToF本身帶來的成本壓力，以及它為用戶帶來的收益很有限。這是因為iToF技術上的限制，導致大家對ToF接受度有限。”前文提及，dToF相較iToF有諸多方面的優(yōu)勢，“使手機后置的一些像AR這樣的應用更加多元化，促使手機廠商去采用這樣的技術。”以前“dToF門檻高，能選的方案上不多。”
“就我們現在的計劃來看，2021年底先以智能手機為目標平臺，第二波會慢慢延續(xù)到AR設備，比如AR眼鏡等產品上。”SarahCheng說，“最新版iPadPro和iPhone的出現，搭載的dToF技術的深度相機已經成為3D視覺在消費場景的應用推動了新的機會。”
“引用他們的一句標語，‘Pro級攝像頭打通了真實和虛擬的交界’，在我們看來，這是未來手機后置3D應用的大趨勢和核心，也就是更加沉浸式的AR用戶體驗，逐漸融入現有的各大游戲、社交、網上購物、室內裝潢、AR導游地圖等線上應用平臺和軟件。”
BingXu博士還補充說：“我們首先會推消費電子類，這個市場很大。從消費電子推到工業(yè)界，各種各樣的工業(yè)界，只要測距離、測體積，需要3D建模的我們都會去推。”