自动化学报
ACTA AUTOMATICA SINICA
1999年 第25卷 第1期 vol.25 No.1 1999



机器人轨线跟踪的视觉与控制集成方法1)

蒋　平　林　靖　陈辉堂　王月娟

摘　要　针对视觉引导的机器人轨线跟踪控制问题，结合视觉传感器的测量特点提出了视觉与控制集成的控制方案，在跟踪轨线切向实现等速度控制，而在法向实现位置控制，这一法向位置误差容易由采样图象直接获得，采用一并行控制器可实现伺服级上的视觉引导，使系统跟踪性能得到明显提高，在小视场条件下(26.4mm×26.4mm)跟踪速度达到250mm/s.
关键词　视觉伺服，轨线跟踪，直接驱动机器人.
INTEGRATION OF VISION AND CONTROL FOR
ROBOT CURVE TRACKING
JIANG Ping　LIN Jing　CHEN Huitang　 WANG Yuejuan
(Dept.of Electrical Engineering,Tongji University,Shanghai　200092)
Abstract　Aiming at high speed visual tracking,this paper presents a new control scheme from the point of integration of vision and control.To track a curve,the control is decomposed into two subfunctions.One is the velocity control which controls the center of a CCD camera to move along the tangential direction of the curve.The other is the position control which controls the cneter of the CCD camera to move in the normal direction approaching to the curve.In order to improve the tracking performances,the proposed control scheme was realized in servo rate by the aid of a transputer based parallel controller.The tracking speed reached 250mm/s with a small field of view(26.4mm×26.4mm).
Key words　Visual servoing,trajectory tracking,D.D.robot.
1　引　言
　　从提高机器人对环境的适应性及快速反映能力的角度出发，近几年来许多研究者探索将机器视觉作为反馈控制源参与伺服控制形成视觉伺服反馈控制系统，文［1］采用顶部固定摄像机方式，由摄像机检测手爪标记，产生定位偏差后直接生成控制力矩.文［2］采用手部摄象机方式，利用光流检测特征点运动，设计了基于特征点的PI，LQG等实时视觉反馈控制方法，实验平均跟踪速度为25～30mm/s.然而提高快速性的主要障碍仍在于图象数据的采集及处理延时上，目前的多数系统只能在低于25hz的频率下实现视觉闭环.
　　视觉引导的机器人运动控制的另一种典型应用是轨线跟踪［3，4］，如自动焊缝跟踪、仿型加工、图纸自动输入等，通常的工作方式是由视觉搜索轨线产生位置指令，使机械手跟踪加工，因此其视觉信息只作为指令依据，而并未引入闭环，跟踪过程的动态品质难以保证，仅能在极低速度下实现平稳跟踪(10～20mm/s).为此本文在文［4］的基础上采用手部摄象机方式，力图实现视觉实时闭环，提高跟踪速度及跟踪品质.考虑到视觉引导的轨线跟踪特点，要求机械手根据摄像机所摄取的局部轨线，使摄像机中心不偏离轨线平稳运动，而并无严格的轨迹要求，因此本文的视觉伺服控制在这一局部轨线的弧坐标中进行，实行切向、法向分解，在两个正交方向上分别采用不同的控制方式，切向采用等速度控制保证其跟踪速度，法向进行位置控制保证位置跟踪精度.其特点在于切向采用速度控制，因此不再需要实时生成轨迹，避免了轨线搜索方法中两幅图象的局部轨迹衔接问题，且速度控制比位置控制更加平稳；此外法向偏差的图象抽取非常简便，因此一幅视觉图象(40ms/帧)可在若干次伺服控制周期中(2ms)采用，实现了准伺服周期下的视觉反馈(2ms)，避免了图象采集、处理的大延时与高伺服频率间的矛盾.根据这一基本思路，本文提出了基于切向、法向任务分解的机器人反馈控制律，证明了该方法应用于刚连杆机构视觉轨线跟踪的渐近稳定性，并针对一基于Transputer的机器人并行控制器进行了实验设计，实现了视觉引导的高速轨线跟踪，在26.4mm×26.4mm的小视场条件下轨线跟踪速度可达250mm/s，达到原来速度的10倍.
2　采用正交分解的轨线跟踪控制
　　设摄像机摄取的待跟踪局部轨线如图1所示.其中x-y为工作坐标，摄像机中心由矢量r描述，则容易由图象获得其法向偏差e，设其对应轨线交点为o′，则对于任意采样时刻可建立自然轴系i-j,其中i为切线单位向量，j为法线单位向量，可得



图1　轨线坐标系i-j
设待跟踪轨线对弧长二阶导数存在，由于o′位于该轨线上，因此

其中s为轨线弧坐标.注意到，而，其中α为切线角，ω为自然轴系旋转角速度，它与机械手运动有关，K为轨线曲率，因此,可得
(1)
所以机械手运动速度在i轴的分量，同时可得轨线跟踪速度
(2)
(2)式说明，轨线跟踪速度与机械手在i轴速度分量成正比，而其比例系数与轨线曲率半径及法向跟踪误差e有关.令机械手工作空间动力学方程为
(3)
设期望跟踪速度为u(常数)，定义速度误差向量ev=ui-，法向位置误差向量ep=ej,欲令摄像机中心匀速跟踪目标轨线，因此控制目标为

　　下面我们设计基于切向及法向分解的机器人轨线跟踪控制器，以实现以上控制目标.

　　定理1.采用关节空间控制律可保证摄像机中心对轨线的渐近稳定性，且跟踪速度收敛于u,其中J为机械手Jacobian矩阵，
　　证.建立Lyapunov函数

则

由(1)式得　代入上式得

因为i,j正交，所以

代入动力学方程(3)得

由对称性，上式可化简为

当取工作空间控制律
(4)
则，按期望速度跟踪.为了说明法向误差e收敛于0，将控制律(4)代入(3)式得

　　由于
若令期望跟踪速度d=ui,及向心加速度

则结论得证.
　　这一控制律由非线性补偿及线性反馈两部分构成，结构框图如图2所示，由图2可看出控制分别被分解至两个正交方向上，其中法向偏差直接根据图像获得进行位置反馈控制，而切向只进行速度反馈控制，此外根据图像反馈信息引入动力学补偿以改善高速跟踪时的动态品质.


图2　控制框图
3　图象特征抽取
　　这一视觉引导轨线跟踪控制算法，需要根据采集图象确定轨线特征K，i,j，及摄像机中心偏离轨线的法向偏差e,能否实现高速跟踪依赖于图象特征抽取的实时性，为此我们必须采用最为简洁的办法以保证这一抽取过程能在伺服周期(2ms)内完成.
　　设采集第m幅图象Im,待跟踪轨线在其上表现为一条黑色带状象素集，在图象坐标中最小黑色线宽为Wmin，为了据此获得摄像机中心附近的轨线特征，围绕中心坐标(xo,yo)建立子窗口W，窗口边长为d(d<<1/K，K为轨线曲率)，则沿子窗口边界顺时针搜索，记录连续黑色象素点个数n,若n＞Wmin，则确认为轨线上的坐标点，计算连续黑色象素点中心可得轨线与窗口的一个交点坐标(x1,y1)，重复以上过程可得另一交点(x2,y2)，在d<<1/K 的假定下，轨线与窗口交点仅有两个，则本次轨线切向角可计算得
αi=arctg 2(y2-y1,x2-x1)+θm+nπ　(n=0,1).(5)
这里，θm为摄像机固联坐标系与工作坐标系间的旋转角度，由本幅图象采样时刻的机械手关节角度决定；n值由前次伺服周期中的切向角采样值αi-1确定，满足｜αi-αi-1｜＜π/2.
　　轨线单位切线向量及单位法线向量可表示为
i=［cos（αi),sin(αi)］T,　j=［-sin（αi),cos(αi)］T,(6)
并可建立摄像机中心点附近局部直线方程
sin(α)x-cos(α)y=sin(α)x1-cos(α)y1,
所以摄像机中心偏离轨线的法向误差为
e=sin(α)xo-cos(α)yo-sin(α)x1+cos(α)y1.
　　获得i,j,e后切向及法向的反馈控制部分已可完成，为了进行动力学补偿，需计算轨线曲率K，事实上曲率K在控制律中只用于计算期望向心加速度,所以只要计算即可，因此我们采用如下常系数Kalman滤波方程

直接获得，式中 T为伺服控制周期，在本系统中T=2ms.
　　考虑到图象采样周期(40ms)与伺服控制周期(2ms)相比已显过大，而事实上一幅轨线图象包含了若干次伺服控制所需的轨线信息，因此我们在40ms的图象采样周期内使用同一幅图象进行20次轨线特征抽取及伺服控制运算，以达到伺服周期下的视觉反馈.在第i个伺服周期中，根据关节角度测量值计算当前摄像机中心在第m幅图象中的坐标值［xo(i),yo(i)］T，从而获得e(i),i(i),j(i),,以此作为反馈信息，实现准伺服周期下的视觉反馈，
［xo(i)　yo(i)　1］T=CTB(θm)φ(θi),(8)


图3　伺服周期下的视觉反馈
其中φ为机械手运动学方程，CTB为工作坐标至摄像机固联坐标的齐次变换阵，由图象采样时刻的机械手关节角度θm确定.
　　这一准伺服周期下的视觉反馈可由图3加以解释：由图象周期角度看，系统对运动图象序列进行伺服控制；由伺服周期角度看，系统在40ms内针对本幅采样图象跟踪静止轨线.
4　实验设计及结果
　　这一控制方案的应用背景为一平面两关节直接驱动异形玻璃切割机器人，引入视觉轨线跟踪的目的在于使其既能用于玻璃切割，又具有加工图纸的自动输入功能［4］，为了实现实时视觉伺服反馈，我们建立了一个基于Transputer的机器人视觉伺服并行控制器，这一并行控制器由四片T800(root,slot1,slot2,slot3)构成，其结构如图4所示.　　


图4　并行控制器结构图

　　其中图象采集电路是专为Transputer系统自行设计的，它将视频信号经A/D转换后直接由link串行分配给root及slot2.为了提高系统实时性，root及slot2以40ms/帧周期轮流采样，即root采集图象时，slot2中图象供控制使用，slot2采集图象时，root 中图象供控制使用.图象分辨率为256×256，仅做奇场采样.slot1分别与root及slot2联接构成图象信息流，同时与slot3联接构成伺服控制流.slot3经伺服控制接口电路分别与大臂、小臂的鉴相器及PWM连接，每2ms进行一次关节角测量及控制量输出，slot3将关节采样值送至slot1,slot1据此将当前摄像机中心点映射至当前图象坐标中并交由空闲处理器(root或slot2)运算，对应处理器以该点为中心建立局部窗口，并将所求得的局部直线方程回送，而后slot1据此计算当前e(i)，i(i),j(i),(i)供slot3进行控制力矩运算.全部过程在2ms内完成，实现了伺服周期下的视觉反馈.
　　作为实例，我们在白色图纸上绘制一半径为197.5mm的圆，令机械手进行视觉跟踪，末端摄像机视场26.4mm×26.4mm，动力学参数如文［5］，控制参数取值
kp=40.0,　kv=1.0,　KPO=0.2,　KVO=43.1.
令机械手期望跟踪速度为u=150mm/s，记录跟踪一周的误差曲线如图5 中 u=150mm/s所示，共进行了216幅图象采集，历时8.64s,运行相当平稳，可计算得机械手平均跟踪速度为143.6mm/s，由误差曲线可以看出，除起动时由于期望速度从静止跳变至150mm/s引起1mm的起动误差外，全部跟踪偏差低于0.6mm.提高期望跟踪速度至250mm/s，其跟踪误差曲线如图5中 u=250mm/s所示，最大起动误差3.8mm，最大跟踪误差1.1mm，平均跟踪速度242.4mm/s，共采集128幅图象.可以发现改变跟踪速度不会对性能产生很大影响，特别在跟踪的平稳性方面.与文［4］所提采用轨线搜索后进行位置跟踪的控制效果相比，运行平稳性得到很大改善，同时在跟踪速度提高10倍的情况下控制精度达到同一水平.　　


图5　150mm/s及250mm/s速度跟踪时的法向误差

5　结论
　　本文提出了一个实现视觉轨线跟踪的机器人控制方案，这一控制被分解至轨线切向及法向上，由于切向只进行速度控制，比采取位置方式跟踪控制更加平稳，而法向进行位置伺服，保证轨线跟踪精度.本文针对这一方案建立了一个机器人视觉伺服并行控制器，实现了准伺服周期下的视觉反馈，体现了优良的控制性能，在26.4mm×26.4mm的小视场条件下，实现了250mm/s的快速跟踪.这一方法可应用于图纸输入、焊缝跟踪等多种场合.
1)国家教委博士点基金项目，编号9424713.本文英文稿曾在十三届(1996年)IFAC世界大会上宣读.
　　蒋　平　1963年生，1992年毕业于西安交通大学信息与控制工程系，获工学博士学位，现为同济大学电气系教授.主要研究领域机器人控制与智能机器人.
　　林　靖　1973年生，1996年于同济大学获工学硕士学位，现为同济大学博士研究生.
作者单位：(同济大学电气系　上海　200092)
参考文献
1　Wijesoma S W,Wolfe D F H,Richards R J.Eye-to-hand coordination for vision-guided robot control applications.Int.J.of Robotics Research,1993,12(1):64―78
2　Papanikolopoulos N P,Khosla P K,Kanade T.Visual tracking of a moving target by a camera mounted on a robot:a combination of control and vision.IEEE Trans.on Robotics and Automation,1993,9(1):14―35
3　Morgan C G,Bromley J S E,Davey P G et al.Visual guidance techniques for robot arc welding.Proc.3th Int.Conf.Robot Vision and Sensory Controls,1983,615―624
4　蒋平，陈辉堂，王月娟.基于视觉的机器人轨线跟踪系统.机器人，1994，16(1)：45―49
5　Chen H T,Jiang P,Zhu W H et al.Comparative study of D.D.robot control algorithms for trajectory tracking.Preprint of 12th IFAC World congress,1993,157―160


收稿日期　1995-06-06　收到修改稿日期　1998-05-15
