識別和處理變形物體是人類日常生活中不可或缺的一部分，如疊衣服、處理食材等簡單任務都會涉及到。 然而這對AI來說卻并不簡單。小品里“小樣，你穿個馬甲我就不認識你了？”對AI來說，還真不是一個笑話。認識是同一物體之后，還得能夠操作。

近日，來自瑞典皇家理工學院的研究團隊在《科學》（Sience）子刊上發表了題為《可變形物體操縱的建模、學習、感知和控制方法》的論文，研究團隊調查了這一領域的100多項相關研究，采用學習視角來整合對分析方法和數據驅動方法的討論，探索如何解決在感知和操縱各種可變形對象中使用和集成模型先驗和任務數據的問題。

研究者認為，數據驅動方法的最新進展，以及經典的控制和規劃，可以為這些開放的挑戰提供可行的解決方案。此外，隨著更好的模擬環境開發，可以允許對各種方法進行基準測試，更好地理解需要進行哪些理論開發，以及如何實施和評估實際系統，以提供靈活、可擴展和具有魯棒性（robust）的解決方案。

盡管AI對可變形物體的操作很重要，但由于與之相關的建模、感知和控制的整體復雜性，相對于剛性物體的操作，此前人們上對可變形物體的機器人操作的研究較少。計算機圖形學和機器學習的最新進展提供了有價值的建模技術和數據驅動范式，可以幫助克服傳統方法在變形對象操作中的一些限制。

最近關于物體抓取和操作的調查發現，與變形物體的物理交互是機器人領域中一個重要的開放問題。它進一步證明了學習和數據驅動的方法為機器人在可變形物體操作方面具有更先進的能力鋪平了道路。

文章從“基于物理的可變形對象建模”開始，具體詳舉了質量-彈簧系統、基于位置的動力學、連續介質力學以及基于物理的仿真器。

可變形物體的建模和模擬動力學通常依賴于使用粒子或網格的幾何表示。

質量-彈簧系統(MSSs)將可變形材料作為一個網絡模型。質量分配給每個單獨的頂點，頂點與彈簧邊相互連接。

基于位置的動力學(PBD)是一種無網格方法，建模材料作為一個離散系統的粒子。

連續介質力學為連續域中的材料變形建模提供了更精確的物理描述。

在基于物理的建模方面，作者例舉了Simulation Open Framework Architecture（SOFA）、PhysX、MuJoCo。

Simulation Open Framework Architecture（SOFA）是一個開源框架，專為組織模式開發用于組織建模和手術干預。它采用模塊化設計，為不同的機械對象、約束和碰撞幾何圖形提供定制的解算器。SOFA提供內置質量彈簧模型。它還包括各種FEM模型，例如線性、共旋線性和新胡克模型，用于醫學應用中的精度。該框架已用于運動規劃、跟蹤可變形物體和基于視覺的尖端力估計。

PhysX是NVIDIA的開源產品，用于游戲引擎。它的特點是基于PBD的布料建模，允許模擬剛性和布狀物品，而不需要如中那樣橋接不同的模擬器。隨著對摩擦接觸處理的擴展，PhysX已被用于人類著裝中的各種任務，例如觸覺和力預測，它也被用作規劃穿衣運動的正向動力學模型。

MuJoCo具有凸軟接觸模型，因此允許具有較高收斂速度的優化方法。由于該模擬器最初以關節型機器人的建模為目標，因此它為加速機器人建模和學習算法提供了有用的接口。其變形動力學建模已被Bullet是一個用于碰撞檢測和多體模擬的開源庫。它建立在PBD的基礎上，以模擬可變形物體及其與其他世界實體的相互作用。

第二部分是感知（Perception）?？勺冃挝矬w的控制和操作依賴于使用視覺、力、觸覺和距離感知的豐富和魯棒的感知。作者列舉了基于模版的方法，如幾何模型、基于物理的模型、參數識別以及基于特定應用的表示等。

在數據驅動方法中，動態模型不是先驗定義的，而是學習的，它通常被公式化為監督學習問題. 這些方法涉及模型預測的可靠性，借助定制特征、壓縮表示和模型架構先驗進行學習。作者例舉了可變形對象交互的控制策略、模仿學習、強化學習。

第三部分關于操縱（Manipulation）。由于建模和仿真技術的進步，可變形物體操作的規劃已經從使用特定任務的幾何圖形，如2D形狀輪廓，轉移到使用一般物理模型。

關于可變形物體的建模、感知和控制的工作仍處于初級階段，但最近大量的工作證明了它的重要性。根據高維狀態空間和可變形材料的復雜動力學，研究者確定了可變形物體操縱的主要挑戰。仿真技術的進步也使得狀態估計和運動規劃等各種應用成為可能。更重要的是基于學習的方法的興起證明了它們作為補充范式的靈活性和有效性。最近的趨勢開始融合這兩種范式，用數據補償建模不足的方面，或者用模型先驗促進學習性能。先驗可以類似于作為結構的分析模型，或者通過模擬器提供任務數據。