符合成本效益的隨機料箱抓取方法

隨著產業轉向逐漸邁入自動化的製造產線，許多過去由人工操作的複雜任務現在改由機器執行。在這些任務中，最複雜的就是隨機料箱抓取。也就是窺視一盤隨機排列的元件，然後識別並取出符合產線下一項任務所需的元件，即使此元件可能被其他堆疊元件遮蔽一部分。

隨機料箱抓取的應用涵蓋機械裝料、配套以及分類，且此技術可廣泛運用在汽車、電子、電子商務及醫療裝置產業。雖然這項任務對人類來說相當直覺，但負責這項工作的機械手臂必須運用高速 3D 機器視覺、圖案識別與路徑規劃演算法才能成功完成。最近，機器學習做法也用來協助精進料箱元件的識別與順利取料。

結構光與雷射掃描的比較

雖然利用雷射光進行系統性掃描並繪製表面的方式已廣為人知，但目前絕大多數的隨機料箱抓取系統都採用「結構光」做法，比起雷射繪製更快速、更安全且更具成本效益。除了料箱抓取之外，結構光掃描還廣泛應用在工業設計、品質管控、擴增實境遊戲以及醫療造影等領域。環境照明條件和反射性元件表面都是讓情況更複雜的潛在因素。

結構光技術會快速投射一連串圖案，例如條紋和格線 (圖 1)，到料箱內的物品上。從投影機以外的任何角度觀看，圖案都會失真。這些變形可顯現出料箱內物品的三維複雜性，並能以一系列靜態影像加以捕捉，而這正是高速連線與高效能運算適合此應用場景的原因。

圖 1：結構光掃描技術會將投射到裝滿元件之料箱上的明暗圖案進行擷取與分析，就可顯現箱內各零件的身份、位置與方向。(圖片來源：Lattice Semiconductor)

FPGA 負責重複性任務

大多數結構光解決方案由乙太網路連接的兩個模組組成，包括一個感測模組與一個運算模組。感測器模組會連接到投影機，並開始將一連串結構光圖案投射到料箱中。會以一個相對於投影機偏軸放置的相機來擷取影像結果。以 Lattice Semiconductor 的結構光解決方案為例，會產生一連串 41 張獨立影像，包括正向、負向、水平和垂直圖案。相機擷取的影像序列會透過 MIPI 相機序列介面 (CSI) 鏈路回傳到感測器模組。

感測器模組還包含現場可編程閘陣列 (FPGA) 資源，可將連續 41 張影像編碼成一張 10 位元的編碼影像，並將生成影像中共同的「對應像素」位置標示出來。此編碼影像接著會透過乙太網路鏈路傳送到運算模組。此編碼可大幅提升傳輸至運算模組的速度，以及整體系統的反應速度與效能。舉例而言，傳送 41 張解析度為 1920 x 1080 像素的原始影像，會耗用 680 MB 的數據流量，但經過編碼的單一影像就只有 41 MB 的資料量。這表示資料量減少了 16 倍，因此系統效能也跟著提升。

感測器模組中的附加 FPGA 可進一步減輕運算模組的工作負載，可生成逐一像素的深度圖，能有效描繪料箱內的個別物體，並協助運算模組，針對相關機械手臂計算最佳的取料點位置。這是一項重複性非常高的任務，可同時針對每個像素進行處理。或者，使用者也可使用相同的運算模組資源，但增添額外功能。同樣地，FPGA 可以執行全部或部分機器學習式的物件偵測與區隔工作，以便進一步分擔運算模組的負擔。

硬體與軟體的比較

在此應用中，感測模組中的 FPGA 能與運算模組中的 CPU/GPU 搭配如此良好的原因在於，個別平台的優勢可彼此互補。FPGA 非常適合處理高度重複的任務，例如將 41 張影像所含資訊整併到單一編碼影像時，就需要感測器專屬的處理與畫格層級的同步能力。這項任務，就非常適合可配置的硬體實作。同時，CPU/GPU 的強項在於處理複雜且高階的運算，例如最佳化與決策，因為這些幾乎都已在軟體中實作 (圖 2)。

圖 2：Lattice Semiconductor 的隨機料箱抓取做法，可將運算工作負載適當分配給 FPGA 與 CPU/GPU 資源，不僅能發揮最佳化系統效能，亦可在物料清單層面降低系統成本。(圖片來源：Lattice Semiconductor)

在隨機料箱抓取應用中，感測器模組的本機 FPGA 編碼可大幅減少必須傳送到運算模組的資料量，進而提升抓取的執行速度。同時，FPGA 也可降低運算模組中 CPU/GPU 的計算負擔，因此能採用成本較低的處理器。

由於 FPGA 具有小巧外形及低功耗特性，因此感測器模組可以裝進相對較小的塑膠外殼內，無需配置像是風扇或散熱片等散熱配件。整體淨效應可讓整個解決方案的物料清單成本降低。

完成循環

當編碼影像從感測器模組傳送到運算模組後，CPU/GPU 會利用三角測量法從編碼影像產生深度影像，就像繪製海底的地形圖一樣。接著會使用此深度影像進行物件偵測 (區隔) 及後續的抓取點計算。雖然電腦視覺在物件識別和抓取點計算中扮演主要的引導角色，但在較複雜的應用中，有時會使用 CAD 模型，以幾何匹配的方式協助進行物件偵測。近來，基於機器學習的做法已開發問世，能處理更複雜的情境；其中一些方法更利用深度學習，依據每一次逐步抓取的結果來改進效能。

最後，當料箱內物品的 3D 渲染完成，並選擇好下一個元件的適當抓取點後，指令就會傳送給機器人來執行。隨機抓取完成後，工作循環就會重新開始。

結論

在隨機料箱抓取應用中，結構光比起雷射更加安全且效能更高。此外，同時運用 FPGA 與 CPU/GPU 資源的混合式做法，不僅能達到最佳效果，更可在物料清單層面達到最高成本效益。這是因為兩種半導體技術有適度的分工，以及感測器模組中的 FPGA 功耗相對較低，因此無需輔助散熱措施。