更輕易建立強大的邊緣人工智慧應用

為物聯網 (IoT) 設計一款簡易的感測器型裝置並非最難的事，但若要打造一部能在邊緣端處理機器學習 (ML) 的連網裝置，就沒那麼簡單了。NXP Semiconductors 的處理器系列、開發板和其他相關軟體能克服在功能、效能及開發方面的重大挑戰，進而在工業和 IoT 應用中更快部署高階邊緣人工智慧 (AI) 功能。

設計人員已開始利用能在低功率元件上執行機器學習推論的邊緣人工智慧解決方案，而不再依賴雲端型資源。喚醒詞偵測、感測器資料模式分析和基本物體偵測等功能，通常能利用一種高能效處理器來處理，這種處理器執行多個以模型最佳化工具及架構打造的機器學習模型。當您試圖擴展處理器資源來解決更複雜的問題時就會遇到麻煩，尤其是那些必須即時或幾乎即時回應的資源。

多核心處理器如何使機器學習推論速度突飛猛進

面對這些新興的即時邊緣人工智慧設計，NXP Semiconductors 祭出 i.MX 93 應用處理器系列解決相關功能及效能挑戰 (圖 1)。

圖 1：i.MX 93 應用處理器提供邊緣人工智慧設計基礎，廣泛結合處理資源、安全系統、記憶體和完整一系列時脈、計時器、連接選項及介面。(圖片來源：NXP Semiconductors)

這些元件整合多媒體、記憶體、介面和連接選項等豐富功能，並具備一組處理資源，深具吸引力：

• 兩顆高效能 Arm Cortex-A55 應用處理器核心 - 支援 Linux 型應用處理能力
• 超低功率 Arm Cortex-M33 平台 - 低延遲即時控制處理能力
• Arm Ethos-U65 microNPU 神經處理單元 (NPU) - 幫助有效執行機器學習推論
• NXP 的整合式 EdgeLock 安全區域 (ESE) - 為安全啟動與金鑰管理提供信任根，並提供快速加密功能和其他邊緣應用保護能力

這些處理器的能力有助於將大型邊緣人工智慧應用分成多個可管理的區塊，NPU 能停止執行運算密集型神經網路演算法，不會竊用 Cortex-A55 核心上執行的應用程式碼週期。另外，Cortex-M33 核心繼續專責處理感測器數據採集或流程控制等延遲敏感型任務，ESE 則負責維持系統、軟體程式碼和重要資料的安全性。NPU 能讓 Cortex-A55 核心停止進行機器學習推論，對必須幾乎即時回應的邊緣人工智慧應用來說，這項能力是重要的推手，下文會再探討。

硬體板件和軟體如何加速應用的開發

雖然處理器的功能與效能相當關鍵，但要有效開發邊緣人工智慧應用，必須能快速熟悉處理器能力並迅速打造出高效率的軟體。NXP 的 FRDM-IMX93 開發板 (圖 2) 與相關軟體開發資源雙管齊下，讓您擁有所需的一切，立即著手建立應用。

圖 2：FRDM-IMX93 開發板整合 i.MX 93 應用處理器與多枚支援晶片以提供一個完整的開發系統。(圖片來源：NXP Semiconductors)

FRDM-IMX93 板利用 i.MX 93 處理器系列簡化應用的開發流程。這款開發板只有 105 × 65 mm 大，配備 2 GB 低功率雙數據傳輸率 4X (LPDDR4X) 動態隨機存取記憶體 (DRAM)、32 GB 嵌入式多媒體卡 5.1 (eMMC5.1)、電源管理積體電路 (PMIC)、無線電收發器模組 (提供 Wi-Fi 6、藍牙 5.4 和 802.15.4 無線個人網路)，以及其他必要支援晶片。這款開發板的排針座、連接器和偵錯介面方便您新增擴充板以進行系統偵錯。

此板件提供幾種不同的配置選擇，但在預設模式下立刻就能使用。當您接上顯示器和滑鼠並使用隨附的 USB 纜線為開發板供電後，開發板會從 eMMC 來啟動；eMMC 上預先快閃 NXP Linux 二進位展示映像檔。

預建的應用能加速邊緣人工智慧的部署

FRDM-IMX 93 開發板真正的實力在於其配套軟體及相關工具。預設展示映像檔內建 NXP 的 GoPoint for i.MX Applications Processors 軟體套件，此套件提供一組能透過 GoPoint 圖形使用者介面 (GUI) 存取的範例應用。當您啟動某個應用時，GoPoint 會引導完成任何所需配置步驟，例如指定攝影機的視訊來源。

NXP 範例應用儲存庫中也為每個 GoPoint 應用提供完整的 Python 原始程式碼，許多人對這點也許同樣感興趣。此外，每個應用的文件描述軟體架構、使用的機器學習模型和啟動設定事宜。例如，GoPoint i.MX 93 低功率機器學習應用的文件描述 Cortex-A55 和 Cortex-M33 核心之間的執行流程，展示出 Cortex-M33 如何執行繁重的喚醒詞偵測工作，最終再喚醒 Cortex-A33 上的 Linux 對使用者作出通知。

NXP 的 GoPoint 駕駛人監測系統 (DMS) 應用展示另一個重要概念，也就是如何交錯執行多個模型以在複雜的應用中偵測數個不同的狀態。調用此應用後，要選擇攝影機來源和推論處理器 (例如應用處理器或 NPU)，並予以執行。執行過程中，會顯示攝影機對象 (駕駛人) 目前的狀態，指出駕駛人是否分心、昏昏欲睡、打哈欠、抽菸或正在使用手機 (圖 3)。

圖 3：採用 i.MX 93 應用處理器執行的 GoPoint 範例應用，此應用在多個機器學習模型上執行推論以偵測駕駛人的不同狀態，而且只會延遲幾毫秒。(圖片來源：NXP Semiconductors)

每個應用的儲存庫中都有一項深具說服力的資訊，就是效能數據，此數據顯示出 NPU 能達到更有效的邊緣人工智慧應用。以 DMS 應用為例，NXP 發現以單一執行緒執行 CPU 型吸菸／通話偵測推論時，所需時間為 407.963 ms。改用兩條執行緒時，推論時間縮短至 303.159 ms，然而真正提供回報的是使用 NPU，在 NPU 上執行推論時，時間銳減至 23.008 ms。

結論

低功率 i.MX 93 應用處理器幾乎能即時執行大量推論任務，因此為工業和 IoT 應用的邊緣人工智慧解決方案開創無數的可能。搭配相關開發板及軟體，能快速有效地建立這些應用。