软件学报
JOURNAL OF SOFTWARE
1999年 第2期 No.2 1999



视觉导航中基于模糊神经网的消阴影算法研究
郭木河　杨　磊　陶西平　何克忠　张　钹
　　摘要　在实际的应用中,由于室外移动机器人面临着复杂的环境,道路中充满阴影、水迹等环境噪声.这些噪声严重地损害了以往的各种视觉导航算法的鲁棒性.提出了一种新的面向室外移动机器人导航的阴影消除算法.详述了使用模糊神经网在低分辨率图像上对阴影进行识别,利用遗传算法进行网络结构优化,最后消除原始图像中阴影的方法和过程.同时给出了利用该算法在THMRIII室外移动机器人上进行的实验结果.
　　关键词　消阴影,视觉导航,模糊神经网,遗传算法.
　　中图法分类号　TP18
Shadow Eliminating Algorithm with Fuzzy Neural Network in Vision Based Navigation
GUO Mu-he YANG Lei TAO Xi-ping HE Ke-zhong ZHANG Bo
　　Abstract　　In past decades, there are many vision algorithms. In practice, the environment in which robot stayed is filled with stochastic noise such as shadow, puddle, and fallen leaves. Those factors damage the robustness of the past vision navigation algorithm. A new method to eliminate shadow during mobile robot navigation is presented in this paper. The presented method gives a detailed description on how to use fuzzy network to recognize and eliminate the shadow in low-resolution image during robot navigation, and optimize the structure of fuzzy neural network by genetic algorithm. Also, the experiment results obtained on THMRIII Mobile robot test-bed are given in this paper.
　　Key words　Shadow eliminate, vision navigation, fuzzy network, genetic algorithm.
　　在过去10年内,机器视觉的进展非常缓慢.这首先是由视觉问题本身的复杂性造成的,人们很难找到一种定性或定量的方式来描述视觉过程;另一个原因是受到传统的计算手段的束缚.用传统方法进行识别需要基于确定性的数值计算工具,例如微分运算等,但是在复杂或不确定系统中就很难找到一个全局函数对非线性系统的结构进行分析.近10年来,把神经网络作为主要算法而提出的应用很多,但是也存在着诸多问题,例如,网络权值的物理意义难以用语言描述.相比之下,模糊神经网在这一点上有较大的优势,同时,模糊神经网提供了一种推理方法,能够把模糊理论所具有的较强的推理能力与神经网所具有的自学习、自适应、容错性和并行性相结合.
　　模糊神经网基于模糊规则的控制和决策系统已被较为广泛地应用于各个领域之中［1,2］.系统中的模糊规则通常是由领域专家的意见归纳整理出来的,而事实上许多领域知识是难以描述的.近来,有些学者提出从数据样本中直接自动推导出规则,而不必利用领域知识.在文献［3］中提出的基于模糊推理的自适应神经网系统,采用这种方法能够自动辨识模糊逻辑规则和隶属函数,而且这种神经网系统有明确的物理意义.另外,有些学者提出模糊神经网与其他进化计算方式相结合以提高学习效率［4］.模糊神经网所遇到的困难在于,一个复杂的系统往往需要大量的模糊语言规则描述,从而造成模糊神经网的复杂性较大.如何在有限的时间内进行有效规则的提取是一个非常重要的问题.文献［5］中提出使用相似性分析的方法来简化模糊神经网.
　　视觉传感器在机器人视觉导航中占有重要的地位.但是,算法的鲁棒性常常由于环境噪声的影响而被削弱,所以,消除噪声因素是视觉导航中的重要课题.环境噪声包括建筑物或树等的阴影或水迹等等.在本文中,我们提出利用低分辨率图像,使用模糊神经网的方法进行环境噪声的消除.
1　算法描述
　　从领域知识中直接提取模糊规则是一个很困难的过程,其中涉及以下几个主要因素：(1) 隶属函数的表达方式；(2) 模糊推理机制的构成,即网络结构和推理过程；(3) 有效规则的数目,而其中的隶属度函数的表达在模糊推理过程中对其他两个因素有决定性的影响.所以,我们首先定义隶属度函数的表达.由于阴影与水迹在图像中是没有结构特性的大尺度区域,几乎没有什么定量化的先验知识可用.我们的决策过程基于下述假设,即阴影与水迹在图像的颜色是相对固定的.在自然光照条件下,任何物体的阴影颜色都呈现出一种在人眼看来是暗灰甚至近似黑色,但其中的色素成分难以用简单的公式定量计算.我们采用神经网学习的方法,将有关阴影（水迹）色素成分的知识以权值分布形式记录下来,从而达到识别的目的.识别阴影的模糊BP神经网如图1所示.其中,输入层R,G,B分别为图像中像素（i,j）的红、绿、蓝三色激励强度（灰度）；第2层是模糊化语言描述,根据图2按三通道分别进行,参数集为
{ai,0≤ai≤255∩ai≤ai+1,i=1,2,...,12},　　　　　　　　(1)
决定了该层及下一层的结构（各通道取不同的参数集）；第3层为模糊规则层,采取如下形式:
If (=p And =q And =r) Then RuleNo=i; i=0,1,...,127
输出层为阴影判别的二值变量,

　　　　　　　
　　图1　R,G,B三路灰度模糊化　　　　　　　　　　图2　阴影识别神经网
1.1　使用遗传算法对网络结构进行优化
　　遗传算法最早为Holland提出,随后逐步应用到各个领域［6］.遗传算法最为广泛的应用领域是优化.由于在许多优化问题的求解过程中,很难借助数值方程求导的方式选择优化方向,因而使经典的神经网络算法显得乏力,因此,有些学者提出应用遗传算法对神经网络的结构优化和网络学习过程寻求局部最小解.我们的方法受到上述观点的启发.对上文提出的网络结构的优化和学习过程,主要是针对参数集(1)的选择,采用遗传算法对其进行优化.
　　定义染色体Si=(xi,yi,zi),其中xi,yi,zi为R,G,B三路激励模糊化参数集的染色体表达{xi,yi,zi},那么,利用遗传算子进行规则提取的过程如下：
　　算法1. 使用遗传算法进行规则提取
　　第1步：利用样本图像确定染色体初始基因库；
　　第2步：选择遗传算子,产生新的染色体进入基因池：
(1) 交叉CROSSOVER操作：染色体ξ1和ξ2分别在同一基因位置切开,交换后半段接上,得到新的染色体.
(2) 突变MUTATION操作：染色体ξ1在某基因处发生改变,但不影响其他基因.
(3) 位移SHIFT操作：染色体ξ1在某基因处发生变化（增大或减小）,其后各基因按同一方向和增减量平移起点和终点,但基因大小不变.
　　第3步：候选群体性能评价,如果达到停止条件则退出,否则继续第2步.定义的遗传选优的适度函数（Fitness）为
,　　　　　　　　　　　　　　　　(2)
其中α为有效规则数,β为无效规则数.这样,根据样本原始图像（已标出阴影区）逐点采集,进行结构学习,最终可得到优化的模糊参数集.
1.2 训练样本的选择
　　神经网权值训练的过程采用普通的BP网的训练方式,但首先要在样本选取上作相应的处理.首先,由于自然光照环境的复杂性,使得样本的典型性很难判定,但神经网学习必须保持样本的无偏性.同时,由于BP型网络的外推能力与网络的结构、样本数量及问题的复杂程度直接相关.因此,在结构尽可能优化的前提下,对阴影识别训练的好坏,需要在各种光照环境下,采集大量样本进行聚类,然后逐类学习.这样做的结果是得到若干组权值分布,每一组权值对应一个样本类并具有一定的泛化能力.当网络工作时,首先判定输入图像属于已知的哪一类,然后调用相应的一组权值.当发现找不到已知类与其匹配时,说明网络还应将其纳入新的一类并再学习.因此,对于实际应用来说,一个高质量的识别网的形成应该是一个渐增式的过程.
　　选择一个好的聚类算法至关重要.本文提出的算法的基本框架如下：
　　(1) 建立面向阴影识别的图像聚类亮度和色度指标体系:经过反复实验筛选,取以下几个图像特征：
(1.1) 亮度：选择标准亮度方程
Y=0.22R+0.587G+0.114B,　　　　　　　　　　　　　(3)
则一幅样本图像的平均亮度、均方差为
　　　　　　　　　(4)
(1.2) 颜色饱和度：取红、绿、蓝三基色的相对饱和度为
　　　　　　　　　　　　　　　(5)
则一幅样本图像的三色平均饱和度分别为
　　　　　　　　　　　　　(6)
最后,以{MY,SY,MR,MG,MB}作为聚类特征指标集.
　　(2) 构造模糊相似矩阵：取P={p1,p2,...,pm}为样本图像集,设模糊关系∈F(U×U)满足:
　　　　(2.1) 自反性 μ(u,u)=1,u∈U；
　　　　(2.2) 对称性 μ(u,v)=μ(u,v),u,υ∈U,
则为模糊相似关系,R=(rij)5×5为针对特征指标集的模糊相似矩阵,其对角线元素为 1,rij表示样本图像pi与pj按所选特征指标集相似的程度（相似系数）.根据所选指标集按极大极小运算求rij,
　　　　　　　　　　　　　　　(7)
其中pik表示第i幅样本图像的第k个特征指标值.
　　(3) 聚类：将模糊相似关系∈F(U×U)改造为模糊等价关系*∈F(U×U),有
　　　　　　　　　　　　　(8)
以λ∈［0,1］截取R*得R*λ,最终获样本图像集的分类.
2　实验结果
　　在不同季节（春、夏、秋、冬）、不同光照条件（上午、中午、下午）下摄取100幅样本图像(如图3中第(1)行所示),按1.2节所述方法进行聚类,取λ=0.5,共得到5大类,如图3中(a)～(e)组所示,其中(e)组为含水迹样本.经学习后获得5组权值,图3中第(2)、(3)行所示为用测试图像得到的阴影及水迹识别结果,再通过阴影图与原始压缩图像边缘检测图,利用物体投影关系等定性知识,最终得到真正的道路及障碍物边缘图.从实验中还发现,用低分辨率样本64*64学习,在高分辨率256*256下工作,其识别错误率几乎不增加.在64*64分辨率下,神经网的识别时间仅为250μs(PC-586,主频133Hz),实时性很好.


(a) 错误率:1%　　(b) 错误率:4%　　(c) 错误率:2%　　(d) 错误率:2%　　(e) 错误率:1%
其中第(1)～(3)行分别为原始图像、阴影识别和对阴影的消除结果
图3　在THMRIII室外移动机器人实验平台上的5个实验实例
3 结 论
　　在基于视觉信息的自主式移动机器人导航控制研究中,目前遇到的主要问题是算法的复杂性与实时性的矛盾.复杂的真实世界要求视觉系统准确地提取出导航必需的道路特征（包括路标）,这就势必要在计算上寻求解决方法,加之图像处理固有的信息规模的限制,使得采用传统的机器视觉及图像处理方法难以突破算法复杂性的制约.而另一方面,运动着的机器人是不允许感知系统有较大的延迟的.通过研究实践,我们深感连接主义方法对于识别非结构化不确定性特征（环境噪声等）是最有前途的手段,无论从研究还是实用技术开发上看,都是如此.另外,利用遗传算法解决神经网结构的优化是一种很有效的手段,而对BP网的参数学习而言,充分利用样本的统计特性进行分类训练,往往可以达到很好的效果.
　　虽然通过实际检验,利用样本统计特征分类的方法训练BP网的权值能够取得较好的效果,但对机器视觉问题而言,复杂的聚类判断在神经网工作时却遇到了问题.因为离线分类学习的后果是,工作时同样需要聚类判别,而图像统计特征及其聚类的计算复杂性比较高,这使得神经网在线工作的实时性受到较大影响.另外,我们使用低分辨率图像来作为模糊神经的输入,提高了输入的样本空间的有效性.同时,简化的模糊神经网提高了网络的效率.
　　本文所提出的算法是在总结我们在“八五”期间的部分工作的基础上提出的.虽然工作取得了一定的进展,但我们同时也意识到存在着不少问题,需要进一步完善和改进.例如,对于应用于机器视觉系统的神经网的分类训练方法,还需进一步研究,以找到最佳分类算法,保证网络的实时工作性能.
作者介绍：郭木河,1940年生,教授,主要研究领域为机器人.
　　　　　杨磊,1970年生,博士生,主要研究领域为机器人视觉导航,虚拟现实.
　　　　　陶西平,1958年生,博士,主要研究领域为机器人视觉导航.
　　　　　何克忠,1936年生,教授,主要研究领域为机器人,自动控制.
　　　　　张钹,1935年生,教授,博士生导师,中国科学院院士,主要研究领域为人工智能,神经网络.
本文通讯联系人：郭木河,北京 100084,清华大学智能技术与系统国家重点实验室
作者单位：郭木河　杨　磊　陶西平　何克忠　张　钹　清华大学计算机科学与技术系　北京　100084　清华大学智能技术与系统国家重点实验室 北京　100084
参考文献
　［1］Ii Hong Suh, Tae Wonkim. Fuzzy membership function based neural networks with applications to the visual serving of robot manipulators. IEEE Transactions on Fuzzy Systems, 1994,2(3):203～220
　［2］Liu Jian-zhuang, Xie Wei-xin. Pyramid segmentation of color images using fuzzy-C means cluster algorithm. In: Proceedings of 1993 IEEE Region 10 Conference Computer Commune Control Power Engine. 1993. 1130～1133
　［3］Jang. ANFIS: adaptive-network-based fuzzy inference system. IEEE Transactions on Systems, Man and Cybernetics, 1993,23(3):665～684
　［4］Buckley J J, Yoichi Hayashi. Fuzzy neural networks: a survey. Fuzzy Sets and Systems. Amsterdam: North-Holland Publishing Company, 1994. 1～13
　［5］Chao Y. Chen J, Teny C C. Simplification of fuzzy-neural system using similarity analysis. IEEE Transactions on Systems, Man and Cybernetics, 1996,26(2):180～190
　［6］Thomas Back. Evolutionary computation: comments on the history and current state. IEEE Transactions on Evolutionary Computation, April 1997,(1):3～17
本文1997-10-24收到原稿,1998-01-09收到修改稿
