計畫背景
智慧團隊型機器人需要在動態、遮擋、視野受限且通訊資源有限的環境中共同完成感知、規劃與控制任務。單一機器人或單一視角容易受到遮擋、遠距離小物件、感測死角與語意不一致等問題限制，導致物件偵測與場景理解不穩定。多機器人協同感知可透過不同 agent 的互補視角提升環境理解，但也帶來跨視角對齊、資訊冗餘、通訊頻寬限制、時間延遲與語意衝突等挑戰。附件中已指出，目前 late fusion 的多 agent semantic occupancy pipeline 雖能建立全域語意地圖，但仍存在小物件流失、邊界模糊與語意衝突三項瓶頸。因此，本計畫需要進一步發展 feature-level fusion 與通訊感知式協同機制，使機器人團隊能在有限通訊條件下選擇性交換高價值感知資訊，提升全域物件偵測與佔用建圖品質。
研究目標
本計畫之研究目標包括：第一，建立多機器人、多視角之協同物件偵測框架，提升遮擋與視野受限情境下的偵測穩定性與覆蓋率。第二，建立多 agent 語意佔用預測與全域語意地圖融合機制，使各機器人之局部 occupancy 能有效對齊至世界座標並形成一致的全域場景理解。第三，從 late fusion 推進至 feature-level collaborative perception，降低小物件流失、邊界模糊與語意衝突。第四，發展 adaptive transmission 與 bandwidth-aware alignment，使系統能在動態通訊限制下選擇性傳輸高價值特徵。第五，導入不確定性建模與 delay-robust fusion，提升在感測不完整、延遲與跨 agent 資訊不一致情況下的魯棒性。第六，建立模擬與真實資料雙軌驗證流程，評估感知品質、傳輸效率與 sim-to-real generalization，並銜接數位孿生、智慧排程與協同控制等系統層級應用。
技術方法
技術方法包含五個核心模組。第一，建構多機器人多視角資料管線，包含 Isaac Sim 場景、CoPed 資料集、多視角同步、姿態校正與真實資料蒐集標註。第二，發展協同物件偵測模型，以主機器人與輔助機器人影像為輸入，透過共享編碼器抽取一致特徵，並以多視角特徵融合與 GNN-based collaboration 方法進行跨 agent 資訊交換。第三，建立語意佔用建圖流程，各 agent 先預測 local semantic occupancy，再透過 pose alignment 對齊至 world frame，最後融合為 global semantic occupancy map。第四，針對 late fusion 的瓶頸，設計 feature-level fusion、adaptive feature selection 與 high-value feature transmission，使系統在頻寬有限時仍能保留對全域感知最關鍵的資訊。第五，導入 bandwidth-aware alignment、不確定性估計與 delay-robust fusion，處理通訊延遲、跨 agent 時間不同步、語意衝突與低信心區域，並以 perception quality、transmission efficiency、map consistency、small-object preservation 與 sim-to-real generalization 作為評估指標。
創新
本計畫之創新性在於將協同物件偵測與語意佔用建圖整合為一個 communication-aware collaborative perception framework，而非僅針對單一任務或單一感測節點最佳化。第一，本計畫由傳統 late fusion 推進至 feature-level collaborative perception，使 agents 能在較早階段交換具有高資訊量的特徵，改善小物件流失、邊界模糊與語意衝突。第二，本計畫導入 adaptive transmission，使系統能依據場景複雜度、遮擋程度、特徵重要性與通訊狀態選擇性傳輸資訊，而非固定傳送完整影像或完整特徵。第三，本計畫結合 bandwidth-aware alignment、uncertainty modeling 與 delay-robust fusion，使協同感知更符合真實多機器人系統中頻寬有限、感測不確定與通訊延遲的限制。第四，本計畫同時支援 object-level detection 與 occupancy-level scene understanding，可銜接下游規劃、協同控制、數位孿生與智慧排程，具備系統整合與實場部署潛力。
預期成果
預期本計畫將產出一套支援多機器人、多視角與通訊受限環境之協同感知技術。技術成果包含：一、協同物件偵測模型與多視角特徵融合模組；二、多 agent 語意佔用預測與全域語意地圖融合流程；三、feature-level adaptive transmission 與 bandwidth-aware fusion 機制；四、不確定性建模與 delay-robust fusion 策略；五、結合 Isaac Sim、CoPed 與真實資料的雙軌驗證平台；六、可與數位孿生、智慧排程、IoT 與協同控制子計畫整合之感知模組。效益方面，本計畫可提升團隊型機器人在遮擋、視野受限、小物件、語意衝突與通訊限制下的環境理解能力，降低對單一感測節點的依賴，並支援未來倉儲、工廠、服務機器人與智慧場域等應用。
