研究人员根据视觉线索将弹塑性物体操纵成目标形状。学分：麻省理工学院CSAIL

机器人在一个新系统中通过视觉输入将柔软、可变形的材料加工成各种形状，有朝一日可以实现更好的家庭助理。

当我们偶然发现一堆荧光、橡胶状的水、盐和面粉混合物时，我们中的许多人都会从内心的孩子那里感受到一种压倒性的快乐，这些混合物让黏糊糊的东西出现在地图上：玩面团。（即使这在成年期很少发生。）

虽然操作橡皮泥对2岁的孩子来说既有趣又容易，但对于机器人来说，这种无定形的污泥却很难处理。对于刚性物体，机器变得越来越可靠，但操纵柔软、可变形的物体带来了一系列技术挑战。困难的关键之一是，与大多数灵活的结构一样，如果您移动一个部分，您可能会影响其他所有部分。

最近，麻省理工学院计算机科学与人工智能实验室(CSAIL)和斯坦福大学的科学家们让机器人亲手玩弄这种建模化合物，但并不是为了怀旧。他们名为“RoboCraft”的新系统直接从视觉输入中学习，让带有两指抓手的机器人看到、模拟和塑造面团状物体。它可以可靠地计划机器人的行为来捏和释放橡皮泥以制作各种字母，包括它从未见过的字母。事实上，仅用10分钟的数据，两指抓手就可以与远程操作机器的人类对手相媲美——在测试任务上表现不相上下，有时甚至更好。

CSAIL博士生、《A关于RoboCraft的新论文。“虽然最近在处理衣服和绳索方面取得了进展，但我们发现具有高可塑性的物体，如面团或橡皮泥——尽管在这些家庭和工业环境中无处不在——在很大程度上是一个未被充分开发的领域。借助RoboCraft，我们直接从高维感官数据中学习动态模型，这为我们执行有效规划提供了一个有前途的数据驱动途径。”

在使用未定义的光滑材料时，必须先考虑整个结构，然后才能进行任何形式的高效建模和规划。RoboCraft使用图形神经网络作为动力学模型，并将图像转换为微小粒子的图形以及算法，以提供有关材料形状变化的更精确预测。

RoboCraft只使用视觉数据而不是复杂的物理模拟器，研究人员经常使用它来建模和理解作用在物体上的动力学和力。例如，三个组件在系统中协同工作，将柔软的材料制成“R”。

感知——系统的第一部分——是关于学习“看”的。它使用摄像头从环境中收集原始的视觉传感器数据，然后将这些数据变成小颗粒云来表示形状。这种粒子数据被基于图形的神经网络用来学习“模拟”物体的动态，或者它是如何移动的。借助多次捏合的训练数据，算法可以帮助规划机器人的行为，使其学会“塑造”一团面团。虽然这些字母有点草率，但它们无疑具有代表性。

除了创造可爱的形状外，研究团队（实际上）还在努力用面团和准备好的馅料制作饺子。目前只有一个两指夹持器有很多问题要问。擀面杖、印章和模具将是RoboCraft所需的额外工具（就像面包师需要各种工具才能有效工作一样）。

科学家们设想未来的另一个领域是使用RoboCraft协助完成家务和家务，这可能对老年人或行动不便的人特别有帮助。为了实现这一点，考虑到可能发生的许多障碍，需要对面团或物品进行更具适应性的表示，并探索哪类模型可能适合捕捉底层结构系统。

“RoboCraft从本质上证明了这种预测模型可以通过非常有效的数据方式来学习来规划运动。从长远来看，我们正在考虑使用各种工具来操纵材料，”李说。“如果你想到饺子或面团制作，仅仅一个抓手就无法解决它。帮助模型理解和完成更长远的规划任务，例如，考虑到当前工具、动作和动作，面团将如何变形，是未来工作的下一步。”

李与斯坦福大学硕士生史浩辰共同撰写了这篇论文。徐华哲，斯坦福博士后；加州大学圣地亚哥分校博士生黄志奥；斯坦福大学助理教授吴家军。他们将在纽约市的机器人：科学与系统会议上展示这项研究。这项工作部分得到了斯坦福大学以人为本的人工智能研究所(HAI)、三星全球研究推广(GRO)计划、丰田研究所(TRI)以及亚马逊、欧特克、Salesforce和博世的支持。