行动的声音不仅是眼睛而且使用耳朵可以改善机器人的感知能力1磨浆机

发布时间：2022-11-02 13:49:32

行动的声音：不仅是眼睛，而且使用耳朵可以改善机器人的感知能力

人们很少使用一种感觉来理解世界，但是机器人通常仅依靠视觉，并且越来越多地依靠触摸。卡内基梅隆大学的研究人员发现，通过增加另一种感觉：听觉，机器人的知觉可以显着改善。

他们说，这是对声音与机器人动作之间相互作用的首次大规模研究，CMU机器人研究所的研究人员发现，声音可以帮助机器人区分诸如金属螺丝刀和金属扳手之类的物体中国机械网okmao.com。听力还可以帮助机器人确定引起声音的动作类型，并帮助他们使用声音来预测新对象的物理属性。

最近获得博士学位的莱雷尔·平托说：“在其他领域的许多初步工作表明，声音可能有用，但尚不清楚它在机器人技术中有多有用。” 在CMU的机器人专业学习，并将于今年秋天加入纽约大学。他和他的同事发现，使用声音的机器人成功地将对象分类的概率高达76％，因此其性能很高。

他补充说，结果是如此令人鼓舞，以至于为将来的机器人配备带工具的拐杖可能会很有用，使他们能够轻敲他们想要识别的物体。

研究人员在上个月的虚拟机器人科学与系统会议上介绍了他们的发现。其他团队成员包括机器人技术副教授Abhinav Gupta，以及前硕士研究生Dhiraj Gandhi，他现在是Facebook AI Research匹兹堡实验室的研究科学家。

卡内基梅隆大学的研究人员设计了一种名为Tilt-Bot的设备来构建动作，视频和声音的集合，以改善机器人的感知能力。将物体放在连接到机械臂的托盘中，然后在记录视频和音频的同时随机移动托盘。

为了进行研究，研究人员创建了一个大型数据集，同时记录了60个常见物体（例如玩具块，手动工具，鞋子，苹果和网球）的视频和音频，这些物体在托盘上滑动或滚动并撞向其侧面时。此后，他们发布了该数据集，对15,000个交互进行了分类，以供其他研究人员使用。

该团队使用一种称为Tilt-Bot的实验设备（与Sawyer机器人的手臂相连的方形托盘）捕获了这些互动。这是建立大型数据集的一种有效方式; 他们可以在托盘中放置一个物体，并让Sawyer花几个小时沿随机方向以不同的倾斜度移动托盘，因为相机和麦克风记录了每个动作。

他们还使用Sawyer将物体推入表面，从而在托盘之外收集了一些数据。

尽管此数据集的规模是空前的，但其他研究人员还研究了智能主体如何从声音中收集信息。例如，机器人学助理教授奥利弗·克鲁默（Oliver Kroemer）领导了一项研究，即通过摇晃容器或估计勺子中的物料流量，使用声音来估计颗粒物料的量，例如大米或面食。

平托说，声音对机器人的有用性也就不足为奇了，尽管他和其他人都对声音的实用性感到惊讶。他们发现，例如，机器人可以利用从一组物体的声音中学到的知识来预测以前看不见的物体的物理特性。

他说：“我认为真正令人兴奋的是，当它失败时，它将在您期望失败的事情上失败。” 例如，机器人无法使用声音来分辨红色块或绿色块之间的差异。“但是，如果它是一个不同的物体，例如一个砌块与一个杯子，它可能会弄清楚。”