浙工大吴化平/裘烨团队Science Advances:多模式三维力触觉传感器助力机器人疾病诊断与智能采摘

发布者:科研办发布时间:2024-07-30浏览次数:11


你相信机器人的触觉会超越人类吗?从贴心的生活服务到高效的工业制造,从精密的微创医疗到繁忙的农业生产,机器人技术正以前所未有的速度渗透到社会生活的各个领域。其中,触觉传感技术是机器人智能化发展的关键技术之一,通过赋予精密的触觉感知能力,它能使机器人对外部复杂的刺激进行动态反馈与交互。然而,现有的触觉传感器在精确量化物体的软硬与纹理特征方面仍存在巨大挑战,致使机器人或用力过猛,或抓取力不足,难以实现无损、稳定地抓取,极大限制了其执行复杂任务的能力。

       鉴于此,新葡京娱乐场官网新葡京娱乐场吴化平教授团队提出了一种柔性双模式三维力触觉传感器,能实现对物体软硬和纹理特征量化感知,并成功应用于机器人的病理特征识别与水果智能采摘,为仿人类皮肤的触觉感知提供了新的思路(图1


1. 受人体皮肤结构及感知功能启发的触觉传感器


柔性双模式三维力触觉传感器的仿生设计与性能

人类能够完成灵巧操作任务,主要依赖于皮肤对动静态三维机械刺激的感知能力。这些感知能力源自皮肤中的快适应和慢适应机械感受器,它们将施加在皮肤上的力转换为电信号,并传递到中枢神经系统。受人体皮肤结构及其感知功能的启发,设计了一种柔性双模式三维力触觉传感器(图2)。该柔性触觉传感器利用双模式传感的动静态力敏特性与协同作用,可有效感知跨尺度的动静态刺激,并通过凸台结构和分布式电极设计实现对空间三维力的定量感知与精确解耦。此外,相较于现有的三维力传感器,该触觉传感器在超宽频带范围内具有较高的灵敏度。


2.双模式三维力传感器的传感性能测试


结合动态和静态原理的软硬测量策略

       基于上述传感性能,研究团队提出了一种结合动态和静态原理的软硬测量策略,设计的触觉感知系统在机械手测量过程中包含振动和按压两部分(图3)。对于具有不同柔软度的样品,在机械手主动振动过程中,利用压电传感器对物体的柔软度进行初步分类,以此调整按压阶段的接触力。随后,结合压阻传感器获取被测物体的接触力与变形信息,测得弹性系数,实现对物体软硬属性的定量感知,平均相对误差控制在10%以内。由于该传感器能够对空间三维力进行解耦,还能实现对任意按压角度的软硬识别,从而在实际应用中成功解决了葡萄抓取过程中对新鲜和腐烂果实的无损与放弃抓取问题。

3. 软硬识别及定量化检测


跨尺度纹理的定量化检测方法

       通过固定按压力和速度以按压滑移的方式对物体表面纹理特征进行感知,结合频域分析提取毫米级表面凸起间距信息。采用卷积神经网络对多传感信号特征进行提取,并通过融合学习来检测微米级纹理特征。随后,利用时域分析中切向力与法向力的解耦信息来获取物体表面摩擦系数,利用压电与压阻的协同作用,阐明双模式三维力传感信号与物体表面纹理特征间的关联机制,实现对物体表面纹理的识别(图4)。

4. 粗细纹理的识别与定量化检测


触觉传感器在医学临床特征识别中的应用

        在初步验证了该触觉传感器在检测软硬度和纹理特征方面的能力后,进一步探究其在医学临床特征识别中的应用(图5)。食管黏膜的皱褶形态和弹性模量在维持生物组织健康方面具有重要的生理作用,可用于评估整体健康状况和识别食管疾病。为此,研究团队开发了一种病理特征识别系统,该系统由数据采集、无线传输和实时显示模块组成。通过将触觉传感器集成到机械手上,滑移检测具有不同病理特征的猪食管,识别准确率可高达98.44%

5. 触觉传感器在猪食管病理特征识别中的应用


触觉传感器在农业智能采摘中的应用

       由于成熟的白草莓颜色较浅,容易与未成熟的白草莓混淆,使得视觉系统在识别其成熟度时面临较大困难。因此,研究人员将该触觉传感器应用于白草莓的智能采摘,以提高识别和采摘的准确性。研究团队对101个形状和大小各异的白草莓进行识别和采摘评估,并使用专业甜度计验证白草莓的成熟度。测试结果显示,整体成功率为82.18%。该传感器在实际智能采摘应用中表现出较高的可靠性,有助于降低农业中因人工或不加选择的机械化收获所可能导致的损失(图6)。

6. 触觉传感器在白草莓智能采摘中的应用

  因此,该项研究工作对于机器人高精度触觉感知功能的构建具有重要的现实价值,并有助于机器人领域的人机交互、自适应抓取和灵巧操作等应用的开发,在使机器人更准确地感知和与周围环境的交互方面具有重大意义。

  相关研究以Quantitative softness and texture bimodal haptic sensors for robotic clinical feature identification and intelligent picking为题于2024724发表在国际顶级期刊Science Advances, 新葡京娱乐场官网为第一单位,文章第一作者为新葡京娱乐场官网校聘副研究员裘烨,通讯作者为新葡京娱乐场官网吴化平教授、西湖大学姜汉卿教授。

        该研究得到了国家自然科学基金(1237216812202388321011195220503112350003),浙江省自然科学基金(LQ22A020009LR20A020002)和浙江省科学技术厅“尖兵”“领雁”项目(2023C01051)的经费资助。该研究团队在柔性触觉传感器的研究和应用上取得了系列进展(Nano Energy. 2020, 78, 105377; Advanced Functional Materials. 新葡京娱乐场, 32, 新葡京娱乐场10296; Nano Energy. 2022, 96, 107073; npj Flexible Electronics. 2022, 6, 45; Chemical Engineering Journal.  2023, 45, 140890; npj Flexible Electronics. 2023, 7, 37等)。


论文信息

Ye Qiu, Fangnan Wang, Zhuang Zhang, Kuanqiang Shi, Yi Song, Jiutian Lu, Minjia Xu, Mengyuan Qian, Wenan Zhang, Jixuan Wu, Zheng Zhang, Hao Chai, Aiping Liu, Hanqing Jiang*, Huaping Wu*. Quantitative softness and texture bimodal haptic sensors for robotic clinical feature identification and intelligent picking[J]. Science Advances, 2024, 10, eadp0348.

 

全文链接

http://www.science.org/doi/10.1126/sciadv.adp0348