卡內基梅隆大學（Carnegie Mellon University）安全人工智能實驗室與博世人工智能中心的研究團隊聯(lián)合開發(fā)了一種新型技術，使人形機器人能夠通過結合視覺與觸覺預測來實現(xiàn)高精度的物體操控。該研究成果已于2026年4月14日以預印本形式發(fā)布在arXiv平臺上，論文的作者是卡內基梅隆大學博士三年級學生牛亞茹（Yaru Niu）。

引入“觸覺夢境”機制的多模態(tài)架構

研究團隊提出的核心算法被稱為“具身Transformer帶觸覺夢境”（Humanoid Transformer with Touch Dreaming，簡稱HTD）。這是一種多模態(tài)的編碼器-Transformer架構。與傳統(tǒng)僅依賴視覺和動作模仿學習（即僅預測行為塊）的方法不同，HTD將觸覺作為第三個主要輸入模態(tài)，并創(chuàng)新性地引入了“觸覺夢境”機制。

所謂“觸覺夢境”，是指模型能夠同時預測未來手關節(jié)所受的力和觸覺的潛在表征。這種機制使機器人能夠在實際接觸發(fā)生前，提前感知并學習接觸變化的表達方式。為了生成觸覺的目標值，研究團隊采用了指數(shù)移動平均（EMA）編碼器，這意味著無需對觸覺傳感器進行單獨的預訓練，大大簡化了系統(tǒng)復雜度。

在數(shù)據收集方面，團隊構建了一套結合虛擬現(xiàn)實（VR）遠程操作與人類動作映射到人形機器人的系統(tǒng)。這一高效的數(shù)據采集方案使得機器人能夠從真實世界的演示中快速學習復雜操作技能。

五項精密作業(yè)成功率顯著躍升

為了驗證HTD模型的有效性，研究團隊在五項高度依賴接觸感知的任務中進行了測試，包括T型積木插入、書籍整理、毛巾折疊、貓砂鏟起以及雙手端茶。結果顯示，相較于更強大的基線模型，HTD的平均成功率提升了90.9%。

此外，實驗還揭示了一個關鍵發(fā)現(xiàn)：在潛在空間（Latent Space）中預測觸覺信號，比直接預測原始觸覺數(shù)值更為有效。這一策略進一步將成功率提高了30%。這表明，通過抽象化處理觸覺信息，機器人能更準確地理解物理交互的本質。

仿生機制助力人形機器人落地

人類在處理物體時，不僅依賴視覺，還會無意識地預判手掌受力的變化，從而實時調整姿勢和手指動作。HTD模型正是試圖將這一人類特有的生物力學機制引入機器人系統(tǒng)。這一突破為面向家庭服務和工業(yè)應用的人形機器人開發(fā)提供了一條切實可行的技術路徑。

值得注意的是，目前該論文仍處于預印本階段，尚未經過同行評審。然而，其展現(xiàn)出的性能提升已引起業(yè)界廣泛關注，標志著人形機器人在精細化操作領域邁出了重要一步。