研究人员将在6月18日至22日在加拿大温哥华举行的2023年计算机视觉和模式识别会议(CVPR)上展示他们的工作。

该研究的资深作者、加州大学圣地亚哥分校雅各布斯工程学院电气和计算机工程教授王晓龙说:“通过让机器人更好地了解3D环境，它可以被部署在现实世界中更复杂的环境中。”

该机器人的头部配备了一个面向前方的深度摄像头。相机向下倾斜的角度，使它能很好地看到前面的场景和下面的地形。

为了提高机器人的3D感知能力，研究人员开发了一种模型，首先从相机中获取2D图像，并将其转换为3D空间。它通过查看由当前帧和前几帧组成的短视频序列，然后从每个2D帧中提取3D信息片段来实现这一点。这包括机器人腿部运动的信息，如关节角度、关节速度和离地面的距离。该模型将前一帧的信息与当前帧的信息进行比较，以估计过去和现在之间的三维变换。

该模型将所有这些信息融合在一起，以便它可以使用当前帧来综合以前的帧。当机器人移动时，模型将合成的帧与相机已经捕获的帧进行对比。如果它们匹配得很好，那么模型就知道它已经学会了3D场景的正确表示。否则，它会不断修正，直到正确为止。

3D表示用于控制机器人的运动。通过综合过去的视觉信息，机器人能够记住它所看到的，以及它的腿之前采取的行动，并利用这些记忆来通知它的下一步行动。

王说:“我们的方法可以让机器人建立对3D环境的短期记忆，这样它就能更好地行动。”

这项新研究建立在该团队先前工作的基础上，研究人员开发了将计算机视觉与本体感觉(涉及运动、方向、速度、位置和触觉)相结合的算法，使四条腿的机器人能够在不平坦的地面上行走和奔跑，同时避开障碍物。研究人员表示，通过改进机器人的3D感知(并将其与本体感觉相结合)，该机器人可以穿越比以前更具挑战性的地形。

王说:“令人兴奋的是，我们已经开发出一种单一的模型，可以处理各种具有挑战性的环境。”“这是因为我们对3D环境有了更好的了解，这使得机器人在不同的场景下更加通用。”

然而，这种方法也有其局限性。王指出，他们目前的模型并不能引导机器人到达一个特定的目标或目的地。当部署时，机器人只是走一条直线，如果它看到障碍物，它就会通过另一条直线离开。他说:“机器人无法精确控制自己的方向。”“在未来的工作中，我们希望包括更多的规划技术，并完成导航管道。”

视频:https://youtu.be/vJdt610GSGk

论文题目:“视觉运动控制的神经体积记忆”。共同作者包括来自加州大学圣地亚哥分校的杨瑞翰和来自麻省理工学院的杨舸。

这项工作得到了美国国家科学基金会(CCF-2112665, is -2240014, 1730158和ACI-1541349)、亚马逊研究奖和高通公司的部分资助。