計畫背景
沉浸式移動介面系統能讓使用者透過虛實投射，讓使用者在有限的運動空間內，利用感測讓使用者在虛擬實境環境行走或行動。此類系統在21世紀便已實現於步態復建的應用上，並且在運動訓練、軍事、工廠環境等也有應用之高期待性。現今沉浸式移動介面系統之研發主要聚焦於以全向跑步機為移動平台，因硬體控制準確性、系統延遲虛實感知落差等，導致使用者步態不自然、代謝能耗增加、虛擬實境暈眩等使用者體驗問題。因為前述之高應用期待性，高沉浸性與使用者體驗之沉浸式移動介面系統也成為重大的挑戰。
研究目標
本期的研究目標為完成初代沉浸式移動介面系統，包含建立全向跑步機的數位分身，將智慧感測策略利用數位分身系統做強化學習訓練，部屬於硬體系統並與虛擬實境環境串接。同時利用此系統，初步完成利用使用者步態遠端投射至機器人之平面移動。
技術方法
核心技術包含結合穿戴式與影像感測之機器學習之智慧感測用於 Human-in-the-loop 控制、NVIDIA Omniverse 平台中之強化學習與Sim-to-real的部屬、以及整體硬體系統與虛擬實境環境之整合
創新
本研究預計結合生物力學建模於 Human-in-the-loop 控制，配合步態、動作姿態等智慧感測，與多感官的虛擬實境環境整合
預期成果
與早稻田大學研究團隊合作，第一期的目標是完成自主研發的沉浸式運動介面系統原型，包括全向跑步機平台、其數位分身、基於數位分身的控制系統以及與虛擬實境環境的整合。從工程角度來看，目標是實現高控制精度和低延遲。同時將進行可用性試驗，以檢視高沉浸感和使用者體驗，特別關注是否防止虛擬實境暈眩。此外，我們也計劃開發遠端機器人平面運動操控的基礎應用。
