【生成AI×產業用機器人】生成AI能將產業用機器人操控到什麼程度?

千歲機器人股份有限公司(總公司:東京都文京區，代表取締役社長:西田亮介，以下簡稱「本公司」)針對運用視覺語言模型(Vision-Language Model, VLM)來指示產業用機器人動作的系統，驗證了提供給VLM的參考資訊對機器人控制程式生成品質所產生的影響。

本次驗證的系統，係以機器人末端安裝的相機影像與日文作業指示為基礎，由VLM程式碼代理(Codex、Copilot、Claude Code)自動生成產業用機器人的C++控制程式。本公司逐步向VLM加入「嵌入式提示」(描述產業用機器人特有的先驗知識)、「API參考文件」(用於機器人、相機與感測器控制)以及「過往案例資料庫」(實際現場使用過的專案資料),並評估各項資訊對程式生成品質的提升效果。

驗證結果顯示，若能按角色分類並系統性地提供參考資訊，將可改善作業指示的遵循度、安全動作的考量、符合實際設備控制API的實作，以及程式碼的可讀性與可維護性。特別是過往案例資料庫，展現出作為VLM參照來源的潛力，使其得以學習實際作業現場中蘊含的隱性知識。

配合本次驗證，本公司將於YouTube公開一段展示VLM動作指示系統實際運作的影片。

影片內容將呈現產業用機器人如何根據相機影像與日文作業指示，執行「拾取與放置」(Pick & Place)作業。結合本驗證結果觀看，可更具體地理解運用VLM指示機器人動作的未來可能性。

背景

製造業中產業用機器人的應用正迅速擴大，業界亟需一種能讓現場作業人員直接透過生成AI下達動作指令的機制。然而，目前關於如何持續提升機器人動作品質的動作指示系統，相關知識仍顯不足，發展方向尚未明確。

本次驗證旨在釐清:面對不具備機器人示教技能的一般現場使用者所下達的指令，系統若要生成符合規格、確保執行安全，且能像資深工程師般具備高熟練度的程式碼，究竟需要哪些關鍵要素。

驗證對象

本次驗證聚焦於「拾取與放置」的單一任務。

作業指令包含需選擇特定物件的內容，例如:「夾取相機畫面中檢測到的紅色工件並放置至指定位置」、「夾取藍色工件並放置至另一指定位置」、「夾取最左側的工件並置於托盤中央」等。

同時也納入與安全動作相關的條件，例如:「若未檢測到工件，機器人不得動作並以錯誤結束」、「夾取後必須先在Z方向退避50mm,再進行移動」等，作為評估項目。

實際系統架構包含產業用機器人、手眼相機(Hand-Eye Camera)、雷射感測器與小型氣動夾爪。

驗證方法

由人類作業員以日文下達作業指令,VLM程式碼代理負責解讀並自動生成機器人控制程式。過程中，將提供給AI的參考資訊分為以下三類逐步加入，評估其對程式「指令規格遵循度」與實際作業所需的「程式碼熟練度」的影響。

嵌入式提示:描述產業用機器人特有的基本架構與先驗知識的規則，例如為避免碰撞而需執行的退避動作等。

操作手冊與API參考文件:提供控制機器人與相機所需的系統建置基礎知識與詳細規格說明。

過往案例資料庫:包含實際現場使用過的專案檔案，以及錯誤時的安全設計等實務程式碼範例。

驗證結果

本次驗證使用搭載手眼相機與雷射感測器的產業用機器人，針對不同顏色零件執行「拾取與放置」等共12項任務。由人類作業員以日文下達指令，由VLM自動生成控制程式。

針對AI生成的程式，從以下兩個面向進行評分:

指令規格遵循度:評估是否達成任務目標、能否正確進行影像辨識、是否包含防碰撞的安全動作與例外錯誤處理等，共10項(每項任務滿分20分)。

程式碼熟練度:評估程式是否具備「實務上易於維護與修改」的設計，例如功能是否適當分割、程式結構是否清晰等，以5階段評分(每項任務滿分5分)。

驗證結果顯示，隨著逐步增加提供給AI的參考資訊，總分從滿分的74.3%大幅提升至88.7%(+14.3個百分點)。

提供給AI的參考資訊

指令規格遵循度

程式碼熟練度

總分

僅標準樣本

191分

32分

223分

+嵌入式提示

202分

39分

241分

+嵌入式提示+API參考文件

216分

40分

256分

+嵌入式提示+API參考文件+過往案例資料庫

222分

44分

266分

此外，驗證也確認了各類參考資訊具有不同的功能角色:

嵌入式提示

補足產業用機器人系統應如何實作的基本規範

透過加入「夾取後必須向上退避」等基本規則，使AI理解產業用機器人特有的實作「規範」,進而提升對指令的遵循度與基礎熟練度。

API參考文件

確保VLM輸出符合實際存在的API與正確實作流程

生成式AI雖能產出語法自然的程式碼，但在實際控制中必須避免使用不存在的API或錯誤的呼叫順序。透過提供詳細的實際功能規格，可有效約束AI的輸出符合正確實作流程，進一步提升對人類指令的遵循能力。

過往案例資料庫

補足實務程式碼中所包含的現場隱性知識

提供手冊中未記載的現場實務程式碼，使AI得以學習如錯誤時的安全設計等「隱性知識」,進而生成最高品質的程式碼。此類過往案例資料庫，預期將成為產業用AI系統中強大的差異化關鍵。

討論

本驗證結果顯示，在運用生成AI控制產業用機器人時，除了向模型說明作業內容外，更需將機器人控制規範、API規格與實務程式碼等資訊妥善整理並提供參考，方能提升系統表現。

在產業現場，除了手冊記載的知識外，更依賴資深工程師在實務中累積的隱性知識，例如安全退避的實作方式、錯誤處理流程、易於維護的程式結構、依設備配置劃分處理邏輯等。這些內容僅靠一般範例程式碼難以完整重現。

未來若要有效運用生成AI於機器人控制，企業必須將內部累積的實作知識與操作訣竅，系統化地建置為AI可參照的資料形式，此將成為關鍵課題。

未來展望

未來本公司將著手進行符合現場需求的連續運轉實測、應用於組裝與嵌合等複雜工序、改善參考檔案的檢索與選取演算法，以及開發用於抑制過往程式碼參照時雜訊的雛型系統等。

千歲機器人股份有限公司將結合生成AI與產業用機器人技術，目標不僅讓專業工程師，更讓現場作業人員也能輕鬆運用機器人。

相關發表

本內容預計於「機器人與機電整合研討會2026」中發表。

研討會名稱:機器人與機電整合研討會2026

地點:福岡國際會議場(〒812-0032 福岡縣福岡市博多區石城町2-1)

發表時間:2026年6月30日(二)14:00~15:30

發表主題:製造的機器人化 1P1-008

「VLM為基礎的產業用機器人動作指示系統中嵌入式提示與資料庫的角色」

發表人:西田亮介(本公司社長)

報名網址:https://robomech.org/2026/registration/

千歲機器人股份有限公司

YouTube頻道已公開多部機器人實作影片!

歡迎觀看運用最新技術開發的機器人與機器人夾爪。

YouTube頻道連結

本公司YouTube頻道網址。

千歲機器人股份有限公司致力於推動機器人技術的社會應用與普及，期望讓更多現場與產業領域能夠輕易運用機器人。

我們將持續扮演連結技術與現場的橋樑，朝向機器人更貼近人類、支援工作方式並創造新價值的社會而努力。

總公司(至6月30日):〒112-0002 東京都文京區小石川2-1-1-7樓

總公司(7月1日起):〒113-0033 東京都文京區本鄉1-5-7-2樓

代表取締役:西田亮介

電話號碼:TEL 03-5615-8271/FAX 03-5615-8272

營業項目:機器人控制軟體「Kurubo」之開發與銷售 機器人系統之研究、開發與銷售 網址:https://chitose-robotics.com/