ZHCSRW1D February 2023 – December 2024 AM69 , AM69A
PRODUCTION DATA
請參考 PDF 數(shù)據(jù)表獲取器件具體的封裝圖。
深度和運動感知加速器 (DMPAC) 是一種高能效的硬件加速器,可根據(jù)攝像頭輸入計算密集立體深度圖(深度)和密集光流矢量(運動)。
基于圖像/視頻傳感器的環(huán)境感知(也稱為“場景理解”)是汽車、工業(yè)和消費電子領(lǐng)域許多新興應(yīng)用的核心。通常情況下,這涉及通過分析一個或多個相關(guān)輸入視頻流,檢測場景中的所有物體及其相對于觀察者或汽車的 3D 位置和運動。為執(zhí)行這些任務(wù),需使用各種計算機(jī)視覺算法。
從圖像中獲取 3D 深度的一種非常可靠的方法是在立體環(huán)境中使用兩個攝像頭,這兩個攝像頭具有已知的相對位置和攝像頭參數(shù)。通過分析從兩個不同的攝像頭方位/視角捕獲的同一場景的兩幅圖像,即可找出圖像中每個像素位置之間的差異。這稱為立體視差圖。根據(jù)每個像素的視差值,可以通過三角測量算法獲取其所屬物體/空間的 3D 位置。
另一方面,通過分析單個攝像頭在兩個不同時間實例(即視頻中的兩個時間幀)捕獲的兩個圖像,可以確定過去幀中的每個像素在未來幀中移動到的位置。這稱為光流矢量。每個像素位置的光流矢量可用于獲取場景的 3D 結(jié)構(gòu)、識別移動物體并確定其相對運動速度和方向。
DMPAC 專用于上述圖像處理任務(wù)。立體和光流處理分為兩個頂級子塊:密集光流 (DOF) 引擎和立體視差引擎 (SDE)。DOF 和 SDE 塊共享一個通用的共享本地存儲器、DMA、外部消息傳遞和控制基礎(chǔ)結(jié)構(gòu)。
有關(guān)更多信息,請參閱器件 TRM 的處理器和加速器 一章中的深度和運動感知加速器 (DMPAC) 一節(jié)。