微控制器促使邊緣人工智慧普及的方法及原因

邊緣人工智慧過去幾年越來越普及。相關全球市場直到 2035 年的年複合成長率預計為 27.8%，達到 3568.4 億美元的淨值。

此需求背後有許多驅動因素。公司企業將敏感或專屬資訊傳輸到雲端可能會有資安上的疑慮，在邊緣節點處理資料能解決這種疑慮。在邊緣節點處理還能縮短延遲時間，對需要瞬間做出決定的即時應用來說可能相當重要。工業物聯網 (IIoT) 裝置提供資料導向運算，進而增加邊緣人工智慧的使用案例。從可攜式醫療裝置到穿戴式裝置和 IIoT，的作案例不斷快速增加，壯大邊緣人工智慧的市場。

隨著此技術愈加普及，現今也越來越需要能應付嵌入式系統資料處理需求的組件。

運算處理工具：應選擇微控制器還是微處理器

現今工業和其他嵌入式設備裡部署的 IoT 裝置，絕大部分都是記憶體非常少的低功率裝置。這些裝置的處理能力來自小型的嵌入式微控制器 (MCU)。這些微控制器擁有低功率架構，使得嵌入式系統的成本效益遠高於採用微處理器的系統。

在邊緣人工智慧問世以前，微控制器對 IoT 裝置的處理需求總是應付得宜。邊緣人工智慧應用的特徵是涉及複雜的機器學習演算法，傳統的微控制器通常無法提供其所需的運算能力。這種演算法通常是在具有較高運算能力的圖形處理單元 (GPU) 和微處理器上執行。但使用這些組件也有其缺陷，包括消耗的電量。微處理器或圖形處理單元並不是最節能的解決方案。因此，微處理器驅動的邊緣運算可能並非最適合所有的邊緣人工智慧應用，廠商傾向選擇倚賴微控制器。

獨立式微控制器比圖形處理單元和微處理器更便宜。為了擴充邊緣人工智慧，現在越來越需要充分發揮微控制器低成本、低功耗的優勢，同時提高運算能力。

其實這些年來，某些因素合力提升微控制器在邊緣節點的能力。

促進微控制器邊緣應用的推手

雖然一般認為傳統微控制器不足以駕馭人工智慧相關資料處理作業，但微控制器設計和廣大技術生態系統的轉變正帶動邊緣人工智慧使用案例採用傳統的微控制器。

這些因素包括：

• 在微控制器中整合人工智慧加速器：微控制器憑一己之力很難滿足邊緣運算的需求，但整合神經處理單元 (NPU) 或數位訊號處理器 (DSP) 等人工智慧／機器學習加速器能改善效能。

  例如，STMicroelectronics 的 STM32N6 系列 CPU (圖 1) 採用運作頻率 800 MHz 的 Arm Cortex-M55。Arm Helium 向量處理技術為標準 CPU 提供 DSP 處理能力。STM32N6 是首款嵌入 ST Neural-ART Accelerator 加速器的 STM32 微控制器；該加速器是由內部開發的 NPU，專為邊緣人工智慧應用提供高能效。

圖 1：STM32N6 是首款嵌入 ST Neural-ART Accelerator 加速器的 STM32 微控制器；該加速器是由內部開發的神經處理單元 (NPU)，專為邊緣人工智慧應用提供高能效 (圖片來源：STMicroelectronics)

• 最佳化的邊緣人工智慧模型：高負載人工智慧與機器學習演算法無法直接傳輸到微控制器，需針對受限的運算資源進行最佳化。TinyML 和 MobileNet 等小型人工智慧架構搭配其他最佳化技術可做到這點，使位於邊緣的微控制器也能執行人工智慧演算法。STMicroelectronics 推出的軟體解決方案 STM32Cube. AI，能將神經網路轉換為經過最佳化的 STM32微控制器 C 語言程式碼。該解決方案搭配 STM32N6 使用時，即使處理作業和記憶體受限，邊緣人工智慧應用仍必能獲得所需的效能。

• 人工智慧生態系統的興起：光是擁有能在邊緣進行人工智慧相關處理的硬體組件不足。要在邊緣節點執行人工智慧演算法，必須擁有方便開發人員使用並能簡化人工智慧部署的生態系統。TensorFlow Lite for Microcontrollers 等工具能提供此類解決方案。Hugging Face 等開源社群和其他平台提供預先訓練的模型和程式碼函式庫，這些資源能讓開發人員進行測試並依特定的使用案例量身打造。這種人工智慧生態系統不僅降低技術採用的門檻，即使是資源吃緊的企業也更容易取得，不必從頭開發自行研發的人工智慧模型。

  針對經過最佳化的邊緣人工智慧解決方案，STMicroelectronics 具有特別量身打造的軟硬體生態系統 ST Edge AI Suite。此套件將 ST 許多人工智慧資料庫及工具合併，方便開發人員找到模型、資料來源、工具和能為微控制器產生程式碼的編譯器。

  模型庫中預先經過訓練的模型是開發人員的入門起點。這些模型採用開放神經網路交換 (ONNX) 格式，這種開放標準是在電腦視覺 (CV)、自然語言處理 (NLP)、生成式人工智慧 (GenAI) 和圖形機器學習等領域中用於表示機器學習模型。

• 針對標準化和互通性提供的程式碼：雖然人工智慧生態系統已幫助公司企業測試邊緣人工智慧使用案例，但標準化開放模型格式幫助實現跨硬體系統的無縫整合。各軟體工具及微控制器之間的相容性，幫助減少邊緣人工智慧實作的障礙。
• 顧及邊緣節點的安全性：儘管微控制器消除或至少減少了雲端資料處理的需求，這些硬體組件都能增添一層安全保護。這些組件通常具有硬體加密和安全啟動等特點，能避免資料和人工智慧模型受惡意攻擊者侵害。

STM32N6 硬體具備許多值得注意的特點

STM32N6 系列包含一個搭載 NPU 的高效能微控制器，以及攝影機模組套件和探索套件。此系列採用典型 ARM Cortex-M 架構，並因幾個主要特點而適用於邊緣人工智慧，包括：

• 可執行神經網路模型的 Neural ART Accelerator。此元件針對密集執行的人工智慧演算法經過最佳化，時脈速度 1 GHz，提供 600 GOPS，平均能效達到 3 TOPS/W。
• 支援「Helium」M-Profile Vector Extension (MPVE) 指令；這是一組能實現強大神經網路和 DSP 功能的 ARM 指令，目的包括與 16 位元及 32 位元浮點數一同運作，使其能有效操控低精確度數字。這些對處理機器學習模型都很重要。
• ST Edge人工智慧Suite 套件是一個含有免費軟體工具、使用案例及文件的儲存庫，無論開發人員經驗多寡，都能幫助他們打造智慧型邊緣的專用人工智慧。套件亦內含 ST Edge AI Developer Cloud 等工具，後者具有 STM32 模型庫中的專用神經網路，以及用於實際標竿測試的電路板場區等。
• 近 300 個可設定的乘積累加運算單元和兩個 64 位元 AXI 記憶體匯流排，以提供 600 GOPS 傳輸量。
• 內建專用影像訊號處理器 (ISP)，該處理器能直接連接多部 500 萬畫素攝影機。要打造內建攝影機的系統，開發人員需為某個 CMOS 攝影機感測器及其鏡頭微調 ISP。進行此微調通常需具備專業知識或請第三方協助。針對此目的，ST 為開發人員提供 iQTune 這個特殊的桌上型軟體。此軟體運行於 Linux 工作站上、與 STM32 的嵌入式程式碼進行通訊、分析顏色準確度、影像品質和統計數據，並適當配置 ISP 的暫存器。
• 支援 MIPI CSI-2 (行動應用中最廣泛使用的攝影機介面)，無需採用和此攝影機序列介面相容的外部 ISP。
• 單一元件上具有許多額外的功能，開發人員現在能一併執行神經網路與 GUI，無需使用多個微控制器。
• 穩健的安全防護能力，包括 Target SESIP Level 3 與 PSA Level 3 認證。

結論

在邊緣處執行的機器學習應用，過去需由嵌入式系統中的重型微處理器擔起執行複雜演算法的重擔。藉助 STMicroelectronics STM33N6 系列 CPU 等強大的微控制器，現今的公司企業能使邊緣人工智慧普及化。STMicroelectronics 為邊緣人工智慧部署提供完整的生態系統，包括用於推論的軟硬體元件。