深度感知是現(xiàn)實機器視覺應(yīng)用中不可或缺的關(guān)鍵功能。安森美 (onsemi)的Hyperlux ID 間接飛行時間 (iToF) 深度傳感器，憑借更少、更小、更簡單的器件，即可實現(xiàn)高精度深度感知。本系列文章將深度拆解安森美Hyperlux ID 技術(shù)及應(yīng)用。

第一篇推文介紹了機器視覺基礎(chǔ)知識

第二篇文章介紹了iToF 技術(shù)

強光環(huán)境下的高精度深度感知

環(huán)境光過強會導(dǎo)致像素接收的深度信號飽和甚至完全失效，這是 iToF 深度傳感技術(shù)的一大痛點。當(dāng)傳感器前方的場景處于強光照射下時（例如工業(yè)裝配車間環(huán)境），所有圖像傳感器，尤其是采用 iToF 技術(shù)的 CMOS 圖像傳感器，其判斷深度與距離的難度都將顯著增加。

要削弱環(huán)境光的影響，需采用環(huán)境光抑制的圖像處理技術(shù)。該技術(shù)巧妙運用光學(xué)原理與波長調(diào)制方法，將光學(xué)信號視為聲學(xué)信號進(jìn)行處理，從而克服物體表面光信號過飽和的問題。環(huán)境光過強會給距離與反射率的測量帶來諸多挑戰(zhàn)，而Hyperlux ID 則通過兩種方式克服了這些挑戰(zhàn)：一是在符合人眼安全標(biāo)準(zhǔn)的前提下優(yōu)化照明功率；二是調(diào)節(jié)積分時間，即在設(shè)定的測量周期內(nèi)，靈活調(diào)整傳感器的光積分量。

消除運動偽影

采用 iToF 技術(shù)的 CMOS 圖像傳感器，面臨的另一大挑戰(zhàn)是消除運動偽影。運動偽影指傳感器在試圖捕捉運動物體時，圖像中出現(xiàn)的失真或不真實的元素。在普通 CCD 數(shù)碼相機中，高速運動的物體在畫面中會呈現(xiàn)為模糊影像。由于膠片相機也會產(chǎn)生類似的模糊效果，這種現(xiàn)象常被視為攝影的固有特性，甚至被用作藝術(shù)表現(xiàn)手法。

對于高速光電探測器而言，這類本應(yīng)表現(xiàn)為模糊的影像（例如旋轉(zhuǎn)的螺旋槳葉片，或傳送帶另一側(cè)高速運轉(zhuǎn)的機械臂），可能呈現(xiàn)為懸浮在空中的怪異虛影。這些虛影并非真實物體，因此需要圖像處理單元將其識別并忽略。

AF0130 的偽影補償始于其全局快門技術(shù)，該技術(shù)可讓傳感器的所有像素同時曝光。

圖 1. 左：搭載智能 iToF 的安森美 AF0130。右：競品 iToF 傳感器。

為了測試這種智能 iToF 技術(shù)的有效性，安森美開展了一項測試：使用一個裝有三塊不同厚度木塊的旋轉(zhuǎn)輪盤（木塊顏色越深則厚度越大）進(jìn)行成像。在競品傳感器拍攝的畫面中，輪盤上始終呈現(xiàn)出六塊木塊的影像——這是傳感器受環(huán)境光等因素影響，與光線發(fā)生異常作用而產(chǎn)生的光學(xué)錯覺。相比之下，AF0130 拍攝的視頻雖也存在輕微的光學(xué)錯覺，但其每一幀畫面中僅顯示三塊木塊，只是木塊會出現(xiàn)位置小幅偏移和交替閃爍換位的現(xiàn)象。

AF0130 拍攝的每一幀畫面都更加貼近真實場景，基于這些畫面生成的深度圖，精度也遠(yuǎn)高于競品。

成像系統(tǒng)的典型幀曝光處理流程是，先將曝光數(shù)據(jù)寫入存儲器，然后分配時間執(zhí)行讀出階段。讀出階段的任務(wù)是，將傳感器采集到的像素值依次數(shù)字化并存儲到存儲器中。普通圖像傳感器被設(shè)定為曝光后立即開始讀出階段。如果傳感器需要對連續(xù)八幀圖像重復(fù)此過程，那么曝光間隔將過大，導(dǎo)致深度圖各部分?jǐn)?shù)據(jù)無法準(zhǔn)確匹配。這個問題會導(dǎo)致圖像中出現(xiàn)大量運動偽影，對于繁忙的城市街道或裝配線傳送帶等實際應(yīng)用場景而言，這是不可接受的。

圖 2.標(biāo)準(zhǔn) iToF 與智能 iToF 對比

AF0130 搭載的智能 iToF 技術(shù)通過先連續(xù)完成八幀曝光，再統(tǒng)一執(zhí)行所有幀的讀出操作，克服了運動偽影的難題。這一設(shè)計大大減少了運動模糊現(xiàn)象，顯著提升了手勢識別系統(tǒng)的可靠性，這類系統(tǒng)需要準(zhǔn)確區(qū)分具有指令意義的手臂動作與模糊虛影。（各幀曝光之間仍存在微小的時間間隔，但這些間隔短到足以忽略不計。）

以下是 AF0130 典型曝光場景的計算過程：120 萬像素傳感器的標(biāo)準(zhǔn)成像幀率約為 29.97 幀/秒；在 MIPI 存儲總線單通道吞吐量為 1.2 Gbps 的條件下，其最優(yōu)曝光時間（首光子到末光子的響應(yīng)速度）為 300 μs。存儲幀中每個像素為 12 位，因此，當(dāng)兩條 MIPI 線路同時工作時，吞吐量應(yīng)該約為 2 億像素/秒。

表1

一張 120 萬像素的圖像包含 1280 x 960 個像素，因此該圖像的讀出耗時為 6.1 ms。Hyperlux AF0130 可在首次讀出階段開始前，將所有曝光數(shù)據(jù)存儲在傳感器內(nèi)。相較之下，競品傳感器會在前四幀之間穿插執(zhí)行三次讀出操作，因此其首光子到末光子的響應(yīng)速度為 0.3 ms x 4 + 6.1 ms x 3 = 19.2 ms。

相較之下，AF0130 首光子到末光子的響應(yīng)速度為 0.3 ms x 4 + 0.25 ms x 3 = 2 ms。憑借這一簡單的流程調(diào)整，AF0130 在 29.97 fps 幀率下，運動性能達(dá)到了競品的 9.6 倍。

再看另一種應(yīng)用場景：假設(shè)幀率提升至約 60 fps。為支持深度處理，每個 MIPI 通道的吞吐量需要達(dá)到 2 Gbps（此處假定該條件具備可行性）。在該吞吐量下，傳感器的像素處理能力可達(dá) 3.33 億像素/秒，單幀圖像的讀出耗時為 3.7 ms。AF0130 首光子到末光子的響應(yīng)速度為 0.1 ms x 4 + 0.25 ms x 3 = 1.15 ms。而競品傳感器的這一數(shù)值為 0.1 ms x 4 + 3.7 ms x 3 = 11.5 ms。這意味著，安森美 Hyperlux ID 系列傳感器在 60 fps 的幀率下，運動性能達(dá)到了競品的 10 倍。

利用情景配置實現(xiàn)靈活適配與微調(diào)

通過校準(zhǔn) Hyperlux ID 的全局快門，可以針對特定應(yīng)用對這款圖像傳感器進(jìn)行微調(diào)。例如，如果傳感器需適配僅兩米外的傳送帶場景，則可以將 AF013x 校準(zhǔn)為聚焦于四米范圍內(nèi)的反射光信號。這類用于微調(diào)傳感器工作特性的參數(shù)規(guī)格可以作為情景配置存儲在傳感器本地。這樣一來，當(dāng)應(yīng)用場景發(fā)生變化時，只需切換使用對應(yīng)的情景配置即可。

AF013x 還具備動態(tài)調(diào)整能力。例如，當(dāng)反射物體距離過近，導(dǎo)致曝光強度過高、圖像細(xì)節(jié)丟失時，AF013x 可自動縮短曝光時間；或者，如果全局快門原本針對遠(yuǎn)距離探測設(shè)定，而近處有物體進(jìn)入畫面，動態(tài)情景切換功能可讓傳感器立即重置參數(shù)，避免近處物體在畫面中呈現(xiàn)為大片模糊虛影。這一功能在安防監(jiān)控場景中尤為實用：例如，傳感器通常針對 10 米外的大門進(jìn)行參數(shù)調(diào)校，但仍能清晰捕捉在 2 米處進(jìn)入畫面的移動物體（即便是高速移動物體）。

降低系統(tǒng)復(fù)雜度與成本

對于采用 iToF 技術(shù)的標(biāo)準(zhǔn)單調(diào)制器圖像傳感器而言，深度感知的相關(guān)算法通常需要由外置微控制器或 FPGA 陣列來處理。而 Hyperlux ID AF0130 將這些功能直接集成到芯片內(nèi)部，使組件設(shè)計不再需要以下外置器件：

- 片外微控制器或 FPGA 陣列（這類器件需要獨立的電源樹和電壓軌）

- 幀存儲單元（通常需要存儲器控制器）

- 用于連接圖像傳感器、微控制器和存儲器的高速接口

將深度處理功能集成到圖像傳感器內(nèi)，不僅能降低系統(tǒng)帶寬占用與算力需求，還可簡化搭載該傳感器的組件設(shè)計、縮小組件尺寸，并降低組件的生產(chǎn)制造成本與運維成本。

Hyperlux ID 量化結(jié)果

安森美 Hyperlux ID AF0130 與 AF0131 深度傳感器所實現(xiàn)的技術(shù)突破，可以重塑工業(yè)機器視覺組件的設(shè)計范式，使這類組件更易于生產(chǎn)制造、維護保養(yǎng)、工程開發(fā)，同時具備更高的性價比。

- AF013x 搭載的 120 萬像素 BSI 全局快門，可使 CMOS 圖像傳感器實現(xiàn)超高精度的深度感知能力。

- 智能 iToF 技術(shù)與片上存儲結(jié)合，可減少甚至消除運動偽影，助力需要高精度機器視覺的圖像與物體識別系統(tǒng)類 AI 軟件提升準(zhǔn)確性。

- 片上集成算法處理功能，完全消除對外部微控制器的依賴，從而簡化組件設(shè)計、縮小組件尺寸，同時降低功耗。

- 卓越的環(huán)境光抑制能力可提升傳感器的無歧義測距范圍，從而支持更廣泛的機器視覺新應(yīng)用。

- 依托安森美行業(yè)標(biāo)準(zhǔn) Devware X 開發(fā)環(huán)境，可實現(xiàn)開放式軟件開發(fā)與可編程控制，并支持自定義情景配置。

技術(shù)愿景：邁向真正的機器視覺

在需要兼顧速度與精度、但無需超遠(yuǎn)距離感知的場景中，Hyperlux ID 解決了機器視覺技術(shù)實用化與適配難題?，F(xiàn)代機器需要“看清”自己的動作，只需在關(guān)鍵微秒內(nèi)獲取相關(guān)的深度與空間數(shù)據(jù)。曾幾何時，低功耗 CMOS 技術(shù)因易受溫度與噪聲干擾，并不適用于這類應(yīng)用場景。但如今，隨著工程設(shè)計的改進(jìn)與編程技術(shù)的優(yōu)化，CMOS 技術(shù)不僅克服了自身的短板，更在性能上超越了 CCD 等傳統(tǒng)技術(shù)。

隨著機器視覺技術(shù)逐漸成為各類時空感知設(shè)備的標(biāo)配功能，工業(yè)設(shè)備也亟需在技術(shù)性能、可靠性、供應(yīng)鏈穩(wěn)定性與技術(shù)支持服務(wù)上均能滿足規(guī)模化應(yīng)用需求的圖像傳感器。安森美提供的元器件產(chǎn)品，正致力于推動機器視覺生態(tài)朝著更簡潔、更高效的方向發(fā)展。