在本示例應用中，運行了一個具有代表性的 GStreamer 流水線，用于對來自 OX05B1S 攝像頭的實時流進行乘員監(jiān)控、駕駛員監(jiān)控以及視頻電話。

對于 OMS 與 DMS，紅外幀分別通過分割模型與物體檢測模型。該等模型分別模擬安全帶檢測與面部檢測任務。RGB 幀經過 H.265 編碼以后保存到文件中。這代表了 RGB-IR 座艙內監(jiān)控應用的起點。請注意，此處所用深度學習模型并未進行優(yōu)化。⁽¹⁾最終產品需要擴展，以便包含更多 DMS 與 OMS 模型以及后處理，從而打造一個功能強大且豐富的解決方案。

圖 5-8 支持視頻記錄功能的 DMS-OMS 雙流 RGB-IR GStreamer 應用流程

在本應用中（如 圖 5-8 所示），RGB 幀僅用于文件存儲，通過 H.265 格式進行縮放與編碼。在拆分為 OMS 與 DMS 路徑以前，會對紅外輸入進行處理，并且按比例進行縮放。DMS 以 30FPS 速率運行，而 OMS 運行速率更慢，為 5FPS（丟棄 OMS 路徑多余幀）。在此基礎上，可通過縮放、將顏色空間轉換為 RGB（盡管可針對灰度輸入對最終模型進行優(yōu)化）、預處理以及通過 C7x 深度學習加速器上的 CNN 運行，對適用于深度學習的紅外幀做好準備。對于該等模型的任何后處理，均在 GStreamer appsink 插件公開的應用代碼中運行。

圖 5-9 顯示了在運行該應用時 AM62A 的內核負載。VISS-ISP 硬件加速器幾乎能夠達到 315 MP/s 的最大容量。不過，處理內核仍有充足的余量。4x Arm? Cortex?-A53s 僅使用了約 26%，為應用程序代碼與其他服務留出了充足空間。C7xMMA AI 加速器的負載不到 50%，為其他 AI 模型留出了空間，并可通過進一步優(yōu)化最大程度提升 IR 圖像分析能力。32 位 3200 MT/s DDR 總線顯示利用率為 35%，在占用這一共享資源以前，利用率可以達到約 50-60%。請注意，在優(yōu)化整個系統(tǒng)時，必須充分考慮 DDR 的利用率。

單獨來看，流水線的 OMS、DMS 以及電話/錄音部分的延遲時間分別約為 85ms、51ms 以及 67ms（不包括幀采集延遲）。

圖 5-9 顯示了適用于 DMS-OMS 參考 GStreamer 應用程序的計算、加速器以及 DDR 利用率。請注意，此處的模型是德州儀器 (TI) Model Zoo 的現(xiàn)成模型，用于模擬簡單 DMS/OMS 應用的實際負載。還可以進行進一步的深度學習與圖像分析算法（包括：優(yōu)化與降低 DDR 負載的機會）。

圖 5-9 RGB-Ir DMS/OMS 應用的核心利用率