基于Leap M otion远程控制仿生人手运动研究

  作者:张起浩,王建亮,蒋少国 时间:2019-08-28来源:

  张起浩,王建亮,蒋少国(南开大学 滨海学院,天津 300270)

  摘 要:针对仿生人手的远程控制的研究,设计了体感设备Leap Motion和基于STM32微控制器而设计的仿生人手相结合的人机交互系统。通过对三维变换矩阵的求解,验证了Leap Motion对空间中物体运动数据的捕捉原理。利用Leap Motion采集人体姿态,经过最新蓝牙5.0协议,将标识数据远程发送给STM32微控制器,再经过三极管的放大控制舵机转动指定角度,进而驱动仿生人手指运动,实现对物体的远程控制。最后设计实验,验证不同距离对仿生人手指的灵敏度和稳定性的影响。在距离5 m、10 m的阈值力、手指屈伸和响应时间都一样,但随着距离增加,灵敏度和稳定性越来越差,直至30 m时蓝牙接收不到PC端传来的数据流。

  关键词:Leap Motion;三维变换矩阵;蓝牙5.0

  0 引言

  随着人工智能(artificial intelligence)的爆炸性发展,图像识别变得越来越智能化,并且出现了许多基于机器视觉原理的体感设备。本项目主要研究leapmotion采集人手姿态动作,通过本地计算机对数据进行处理并识别出多种手势后,远程与STM32板载蓝牙(Bluetooth 5.0)通讯 [1] ,STM32作为控制单元,根据不同指令控制仿生人手各关节的旋转角度,从而实现对物体的抓取等控制 [2]

  1 Leap Motion体感控制器

  1.1 Leap M otion的工作原理

  Leap Motion是一种采用立体视觉原理,内部配备双摄像头如同人眼从不同角度捕捉画面,重建出来手掌在真实三维空间的运动信息并对空间物体进行坐标定位见图1。它能够识别的范围大概在传感器上方的25 mm~600 mm,工作精度可达到0.01 mm,可实现高操作性。

微信截图_20190909153132.jpg

  1.2 Leap M otion数据捕捉

  为了捕捉人手指关节在三维空间的位置和方向 [3] ,建立了右笛卡尔坐标系的3种运动数据:位移、旋转、缩放,需要通过人手运动模型或者投影法将笛卡儿三维空间数据映射出来才能得到人手关节角度信息 [5] ,并分别把X、Y、Z作为旋转轴(实际上仅在垂直坐标轴的平面上进行二维旋转),P在XY平面、XZ平面、YZ平面的投影分别为点M、点P、点N,三维旋转变换矩阵公式直接由二维旋转公式变化得来 [6] ,如图2。

微信截图_20190909153139.jpg

  1)绕Z轴旋转,相当于将 OP,在XY平面的投影OM围绕原点旋转, 如图3所示 , OM旋转θ角到OM′ 。

微信截图_20190909153145.jpg

  设旋转前的坐标为(x,y,z) 旋转后的坐标为( x',y',z′,)T, 则 的 坐 标 为 ( x,y)T,N′的 坐 标 为( x',y')T,由此可得:

微信截图_20190909154109.png

  对于x′和y′进行三角展开:

微信截图_20190909154136.png

  且有 z'=z;可得绕轴旋转 θ 角的旋转矩阵为:

微信截图_20190909154202.png

  2)绕轴旋转,相当于将 OP在平面的投影绕原点旋转,如图4,旋转 θ 角到ON′。

微信截图_20190909153155.jpg

  设旋转前的坐标为 (x,y,z) ,旋转后的坐标为( x',y',z′,)T, 则 的 坐 标 为 (z,y)T,N′的 坐 标 为( x',y′)T,由此可得:

微信截图_20190909154220.png

  对于z′和y′进行三角展开:

微信截图_20190909154319.png

  且有 x'=x;可得绕轴旋转 θ 角的旋转矩阵为:

微信截图_20190909154344.png

  3)绕轴旋转,相当于将 OP在平面的投影绕原点旋转,如图5所示,旋转 θ 角到OO′。

微信截图_20190909153203.jpg

  设旋转前的坐标为 ( x,y,z) ,旋转后的坐标为( x',y',z′)T, 则 的 坐 标 为 ( x,z)T,Q′的 坐 标 为( x',z′)T,由此可得:

微信截图_20190909154414.png

  对于x′和z′进行三角展开:

微信截图_20190909154444.png

  且有y'=y;可得绕Y轴旋转 θ 的旋转矩阵为:

微信截图_20190909154459.png

  4)绕X、Y、Z轴旋转的旋转矩阵分别为:

微信截图_20190909154514.png

  2 硬件电路设计

  2.1 系统框图

  该系统利用Leap Motion高识别度与以Cortex-M3为内核的STM32等其他器件作为整体系统,见图6。该系统由Leap Motion、PC、STM32F103C8T6、信号放大电路等组成。工作流程是Leap Motion传感器将采集到人体手势数据发送给PC端,PC端接收数据流,并通过蓝牙5.0的协议透传给主STM32标识数据格式,STM32数据发送相应的控制指令,进而控制舵机的转动角度。

微信截图_20190909153214.jpg

  2.2 ST M 32F103C 8T 6电路设计

  STM32F103一款带有Cortex-M3内核的中低端32位Arm微控制器。最高CPU速度可达到72 MHz,1.25DMIPS/MHz,单周期乘法和硬件除法,本次实验选择STM32F103C8T6芯片作为主控器,加入复位电路,增加电路运行的稳定性。

  2.2.1 电源电路

  该系统采用LMZ12003作为总电源管理芯片(如图7),12 V输入,5 V输出的模式,5 V输出主要为舵机供电。它是一种稳固、安全、可靠的设计,具有输入欠压锁定、输出电压保护、短路保护、输出电流限制和使能偏置电压输出的功能。

1568014731174125.jpg

  2.2.2 信号放大电路

  STM32微控制器的I/O口是弱电信号,不能直接驱动舵机的运动,因此有必要设计一个信号放大电路进行放大,故采用三极管2N3904。如图8所示。

微信截图_20190909153230.jpg

  2.3.3 蓝牙H C -42模块

  该系统使用HC-42无线通讯模块进行仿生手的远程控制,蓝牙5.0的理论最大传输速度为24 Mbit/s(是之前蓝牙4.2版本的2倍)。传输达到无损耗水平,理论有效工作距离可达300 m,是蓝牙4.2版本的4倍。模块原理图如图9所示。

1568014786907527.jpg

  2.3.4 舵机

  顾名思义,舵机是控制舵面的电动机,驱动位置伺服的驱动器。它可以接收特定的控制信号,输出恒定的角度,适用于角度不断变化且需要保持的控制系统。本系统选用MG995舵机,它由舵盘、减速齿轮组、位置反馈电位计5 kΩ、直流电机、控制电路板等组成。

微信截图_20190909153258.jpg

  MG995舵机控制图如图10所示。有3条线,分别是:电源线V CC 、地线GND、控制线。舵机的控制关系,如图11所示,如果PWM的幅度为5 V,则其输出轴将保持相应的角度。无论外部扭矩如何变化,只有在提供下一个宽度脉冲信号时,输出角度才会更改为新的相应值。

  3 远程控制距离实验

  Leap Motion API在获取到人体手势数据后远程控制仿生人手指的运动。为了更好地测试蓝牙5.0的无线传输稳定性,故在空旷处设置10组不同的距离,验证不同距离对仿生人手指的灵敏度和稳定性的影响。如表1所示,在距离5 m、10 m的阈值力、手指屈伸和响应时间都一样,但随着距离增加,3个测量的量越来越小,直至30 m时,蓝牙接收不到PC端传来的数据流。

微信截图_20190909153308.jpg

  4 结论

  本文通过对国内外手势交互技术的研究以及LeapMotion技术的基础上,研究了Leap Motion在智能仿生手中的应用,该电路配有蓝牙模块,可远程控制仿生人手的移动。现在仿生人手的控制模式相对单调,大多采用传统控制方式,但是传统的控制方式通常依赖键盘等其他的输入工具,所以操作过程复杂,如果可以连接到人机交互的Leap Motion传感器界面里,使控制仿生人手更方便,这是一种新型的机器人控制模式,让人们直接用自己的双手指挥机器人做出想要的动作并协助人们完成任务,但系统的远程控制距离还待提高,选择蓝牙5.0作为远程通讯模块距离达到30 m就无法接收到数据流,且响应速度不够理想。

  参考文献

  [1] 王红全,淮永建.基于Leap Motion手势识别方法在树木交互的应用[J].计算机应用与软件,2018,35(10):153-158.

  [2] 李松林,徐大杰,张文.基于Leap Motion的六自由度机械臂控制系统[J].电子世界,2017(15):158.

  [3] 王豫.基于Kinect的手臂关节三维运动捕获[D].杭州:浙江大学,2015.

  [4] 况鹰.基于Kinect运动捕获的三维虚拟试衣[D].广州:华南理工大学,2012.

  [5] 刘源.人手抓取运动解析及姿势协同仿人手研究[D].哈尔滨:哈尔滨工业大学,2018.

  [6] 刘浩.从三阶魔方谈空间图形旋转变换矩阵[J].课程教育研究,2018(27):145-146.

  作者简介:

  指导教师:

  王建亮(1982—),男,高级工程师,硕士,主要研究方向:智能仪表。

  张起浩(1995—),男,本科,主要研究方向:智能硬件设计。

  蒋少国(1998—),男,本科,主要研究方向:智能硬件设计。

  指导教师评语:论文选题有意义,在吸收学术界研究成果的基础上,有自己的心得体会,提出自己的看法,言之有理。论述观点正确,材料比较充实,叙述层次分明。

  本文来源于科技期刊《电子产品世界》2019年第9期第39页,欢迎您写论文时引用,并注明出处。

关键词: 201909 Leap Motion 三维变换矩阵 蓝牙5.0

加入微信
获取电子行业最新资讯
搜索微信公众号:电子产品世界

或用微信扫描左侧二维码

相关文章


用户评论

请文明上网,做现代文明人
验证码:
查看电脑版