ZHCAF23A February 2025 – March 2025 AM62A3 , AM62A3-Q1 , AM62A7 , AM62A7-Q1 , AM67A , TDA4AEN-Q1
4.5 適用于駕駛員與乘員監(jiān)控的深度學習
從圖像分析與深度學習角度來看，駕駛員監(jiān)控系統(tǒng) (DMS) 與乘員監(jiān)控系統(tǒng) (OMS) 通常是單獨的處理路徑。這兩種情況下，通常都會使用來自 RBG-IR 攝像頭的 IR 幀。這樣，就能夠利用非可見光，對車輛內(nèi)部進行充分照明，從而在保持駕駛員夜視能力的同時實現(xiàn)精確監(jiān)控。
因此，作為單通道灰度圖像，分析相應圖像。當前僅處理單通道數(shù)據(jù)而不提供三通道 RGB 數(shù)據(jù)，從而降低了處理要求與 DDR 帶寬。不過，分析單通道（例如：灰度）圖像意味著也要在該等數(shù)據(jù)上，訓練神經(jīng)網(wǎng)絡模型，但是，典型模型是針對三通道 RGB 訓練的。TIDL 完全能夠處理任意數(shù)量的輸入通道與分辨率。
適用于駕駛員監(jiān)控的深度學習
駕駛員監(jiān)控必須確定駕駛員什么時候在關注路況，什么時候沒有關注路況。名義上可以理解為疲勞或分心。這兩種情況下，首先要關注駕駛員的頭部位置、目光以及眼睛。眼球與眼瞼的運動速度非?？?，因此，必須以適當幀率（通常約為 30 FPS）進行分析。地方法規(guī)標準（例如：Euro NCAP）能夠改變這一要求。較簡單的 DMS 系統(tǒng)能夠僅進行頭部姿態(tài)檢測，但是無法處理復雜的“蜥蜴型”場景，即：駕駛員的頭部朝向道路，但看向別處（例如：手機）。
DMS 的典型流程如 圖 4-4 所示。請注意，有幾種可行的方法與技術。例如，一些系統(tǒng)能夠通過頭部姿勢檢測（而非目光檢測）判斷駕駛員是否分心。
圖 4-4 駕駛員監(jiān)控圖像分析流程深度學習模型能夠提供有關駕駛員注意力的信息。不過，需要對各幀圖像進行一定程度的后處理。例如，單幀顯示閉眼可能是在眨眼，但連續(xù)數(shù)幀顯示閉眼就可能是在瞌睡或微睡。同樣，目光偏離車輛前方道路，可能是分心，也可能是必要的駕駛活動（例如：看向即將轉(zhuǎn)彎的方向）。因此，適用于 DMS 的深度學習算法必須提供足夠高的幀率，以便能夠跨多幀進行該等跟蹤。
適用于乘員監(jiān)控的深度學習
乘員監(jiān)控會收集關于車內(nèi)座位乘坐情況以及安全帶使用情況的信息。相較駕駛員頭部位置與眼球運動，該等信息變化速率相對較慢，因此，對幀速率的要求相對較低；多數(shù)情況下，可以接受 1FPS 到 5FPS 的幀率。不過，需要關注更大的區(qū)域，通常是整個車輛內(nèi)部，而并非是僅需關注駕駛員座椅。因此，必須以更高的分辨率運行相應模型，并且具有更高的處理要求。OMS 負責檢查哪些座位有人、安全帶是否正確使用以及發(fā)生碰撞時安全氣囊如何展開。
適用于乘員監(jiān)控的數(shù)據(jù)流示例如 圖 4-5 所示。神經(jīng)網(wǎng)絡能夠?qū)蝹€圖像進行多級處理，以便確定車內(nèi)有多少乘員、乘員具體位置以及對安全氣囊展開有何影響。
圖 4-5 乘員監(jiān)控圖像分析流程利用 TIDL 運行多個模型
TIDL 允許同時加載多個深度學習模型。只要模型的權重與配置適合可用的持久 DDR 空間，應用程序就能夠以任何順序進行初始化并運行多個模型。無需對 TIDL 的并發(fā)調(diào)用進行特殊處理。
本報告介紹的幾種模型具有不同的幀率要求與不同的復雜程度。TIDL 能夠?qū)δＰ瓦M行優(yōu)先級排序與搶占，以便適合該等應用。例如，具有較高幀率要求的 DMS 模型可以設置較高的運行優(yōu)先級，以便確保模型可以在幀間延遲方面保持較高的運行速率。對于具有較低 FPS 要求但規(guī)模較大的 OMS 模型，可以設置較低的運行優(yōu)先級，以便利用 DMS 幀間未使用的周期。開發(fā)人員需要分析模型的運行時框架延遲，確保有充足余量以所需幀率在延遲限制范圍以內(nèi)運行每個模型。