首页 >> 应昌佑

使用基于触觉的强化学习进行插入任务龙军

时间:2022/10/30 10:10:53 编辑:

使用基于触觉的强化学习进行插入任务

协作机器人旨在在工厂环境中围绕人类进行操作,并以类似于人类的方式执行任务。有趣的是,对于人类而言,诸如抓握,抓握,转动和旋转物品之类的易于执行的组装任务需要高度复杂的强化学习协议和触觉传感器,以使协作机器人能够重复成功地执行任务。

机载软件中的可视化编程例程使操作员可以通过“演示训练”图形用户界面对机器人进行编程但是,这些易于编程和控制的机器人背后的技术很复杂。

由于来自固定照相机的高精度感测的可用性,常规机器人能够可靠地抓住物体,相对于机器人,该固定相机具有已知的姿势。但是,使用协作机器人的主要好处是,从设计上讲,它们更易于设置和编程,结果有时可以用来定位对象的唯一视觉系统是安装在机器人本身上的低分辨率摄像头。

为了弥合由此产生的知觉差距,几个研究小组开发了触觉传感器,并且正在研究将其用于触觉反馈和对象分类的方法。这对于诸如插入之类的任务或对于处理诸如食物之类的柔软或易碎物品尤其重要。

插入时需要触觉感应的原因是-一旦机器人将其捡起-被操纵的物体可能会改变姿势,例如由于未成功的插入尝试。因此,成功插入以适应物体姿势变化至关重要,而触觉反馈可以提供必要的信息来检测这种“手中”的物体姿势变化。对于柔软或细腻的物品,需要严格的抓握力,该抓握力要足够紧以握住物体而不打滑,但又不能太紧以防止损坏物品。

使用无模型RL进行培训

最近,三菱电气研究实验室的研究小组发表了几篇与基于触觉控制有关的研究论文。

MERL和MIT研究人员向IEEE国际机器人与自动化大会提交了一篇题为“用于插入的触觉RL:对未知几何对象的通用化”的论文,在该会议中,强化学习被用于使配备有机器人的机器人手臂在两个手指上具有触觉感应阵列的平行颚式抓取器,通过3-4次尝试,可以将不同形状的新颖物体插入相应的孔中,总体平均成功率为85%。

在这项工作中,触觉信号随时间的变化被处理为触觉流量信号,该信号代表插入过程中被抓物体与抓具之间接触的变化。触觉感应阵列可以检测到由于与目标的碰撞而导致的抓手手指中物体旋转的细微变化,这些变化可用于提供实时反馈以校正物体的位置和姿势。

使用触觉信号作为输入,对控制器进行了深入的,无模型的RL训练,以学习基于触觉的反馈插入策略。通过这种方式,管制员从其“失误”中吸取了教训,并提高了其有效性。

为了进一步发展控制器的学习方案,以课程学习的方式对不同形状的钉子进行了培训,从相对简单的任务开始,并学习越来越具有挑战性的变化。这大大减少了训练迭代次数。

该系统首先经过培训,将钉子靠在具有一个约束条件的平壁上,然后将其放置在具有两个约束条件的角上,然后是具有三个约束条件的U型,最后插入方孔中。

RL过程成功完成,使生成的控制器可以推广到新颖的现实世界对象,其形状与训练栓类似,例如大小瓶,电话充电器和纸盒。

通过“感觉”对对象进行分类

控制器学习在具有坚硬或坚硬表面的对象上效果很好。但是,如果表面较薄或具有延展性的物体会因机器人手臂的误操作而损坏,该怎么办?

为了解决这个问题,MERL的研究人员撰写了第二篇论文,该论文还利用了通过触觉感应获得的机器人模式。该论文名为“交互式触觉感知,用于对新型对象实例进行分类”,其中描述了以下研究:来自MERL开发的并附接到安装在机械手臂上的抓手手指上的触觉阵列的信号可用于仅基于新对象实例进行分类。触觉“感觉”。

实验中使用的一组测试对象包括诸如苹果,毛绒玩具,纸杯,玩具足球,网球和酒杯之类的家用对象。使用深度感应将对象定位在工作空间中,然后机器人使用抓握姿势检测器的建议对对象执行一系列触诊。

相关: OmniTact使用微型相机进行多方向触觉感应

新颖的触觉阵列由温度补偿的超小型压力传感器单元组成,这些传感器单元放置在一个平面网格中,并连接到我们的机器人抓手的指垫上。来自触觉阵列的信号被转换为类似于人类触觉感知的3D表面表示。

这种方法方便而优雅地将触觉信息表示为对象几何形状的隐式子集,精确地定位在机器人的工作空间中。本质上,指垫会像人的手一样与物体接合,并且-通过控制器的操纵和学习-开始了解正确处理该物体的质量。

使用视点特征直方图在触觉特征空间中编码来自心pit序列的触觉数据,该视点直方图对触觉点云的几何形状和视点进行编码。使用一类支持向量机处理每个触诊的VFH功能,以确定该对象与先前测试的对象是相似还是不同。

如果物体是新颖的,则将其包括所有VFH功能的触觉模型存储起来,并用于将来的物体检测任务。这种方法的一个优点是由于不需要在一组已知对象上对系统进行预训练,因此可以提高数据效率。因此,它允许此方法轻松扩展以合并新对象。尽管触觉信息会编码几何形状信息,但OC-SMV不能识别物体比例。

增强操纵技巧

尽管被表述为探索性研究,但我们的结果表明,使用基于压力的触觉可以通过执行很少的心并且无需预先训练就可以成功地用于新型物体检测。

启用基于触觉的对象分类和实时反馈控制功能,可以增强当今机器人的操纵能力,这对于设计为具有更多类似人的能力的协作机器人而言尤其重要。展望未来,我们希望在包括触觉服务,握持姿势检测和可控打滑在内的接触丰富的环境中,触觉传感将在实现更高水平的灵巧操作方面发挥关键作用。

西安看牛皮癣医院

合肥哪里治疗白癜风好

贵阳专业癫痫医院排行榜

苏州人工流产多少钱

昆明有专业治疗白癜风的吗

相关资讯