自动化学报
ACTA AUTOMATICA SINICA
2000　Vol.26　No.1　P.43-55



计算机视觉中摄像机定标综述
邱茂林　马颂德　李毅
摘 要 回顾了摄影测量学和计算机视觉中的各种摄像机定标方法，对各种方法进行了分析、比较、并讨论了摄像机定标方法应用于计算机视觉中的特点.
关键词 计算机视觉，摄像机定标，摄影测量学，立体视觉，三维重建.
OVERVIEW OF CAMERA CALIBRATION FOR COMPUTER VISION
QIU Maolin
(Beijing Open Lab of Cognitive Sciences, University of Sciences and Technology of China, Beijing 100039)
MA Songde LI Yi
(National Lab of Pattern Recognition, Institute of Automation, Chinese
Academy of Sciences Beijing 100080)
Abstract In this paper the camera calibration methods in photogrammertry and computer vision are reviewed, categorized and compared with. Features of the application of camera calibration methods in computer vision are discussed.
Key words Computer vision, camera calibration, photogrammertry,stereo vision, 3D reconstruction.
1 引言
　　计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数.在大多数条件下这些参数必须通过实验与计算才能得到，这个过程被称为是摄像机定标.由于在摄影测量学方面也存在着同样的问题，早年在这个方向已经取得了很多研究成果.对于计算机视觉而言，考虑到摄像机定标在理论和实践中的重要价值，学术界在最近10余年来进行了广泛的研究，基于不同的出发点和思路取得了一系列成果，对于不同的问题背景它们都有其各自的应用价值.我们认为，对现有的各种方法进行总结、比较和分类，以揭示它们之间的相互关系，是一项有意义的工作.
　　摄像机定标技术早就应用于摄影测量学［1～3］.摄影测量学中所使用的方法是数学解析分析的方法，在定标过程中通常要利用数学方法对从数字图像中获得的数据进行处理.通过数学处理手段，摄像机定标提供了专业测量摄像机与非量测摄像机的联系.而所谓的非量测摄像机是指这样一类摄像机，其内部参数完全未知、部分未知或者原则上不稳定.摄像机的内部参数指的是摄像机成像的基本参数，如主点(图像中心)、焦距、径向镜头畸变、偏轴镜头畸变以及其它系统误差参数.
　　对于计算机视觉研究而言，在利用计算机技术实现对三维景物的描述、识别和理解这一任务时，CCD摄像机是对物理世界进行三维重建的一种基本测量工具，这时摄像机定标被认为是实现三维欧氏空间立体视觉的基本而又关键的一步总体来说，其计算方法与摄影测量学中所使用基本相同［3］.这些问题在计算机视觉中得到了进一步研究，这是因为计算机视觉中的问题与摄影测量学中的问题相比，有着显著不同的特点：
　　1) 计算机视觉系统中使用CCD摄像机作为价格低廉的非量测摄像机.摄像机参数未知或者不稳定，从而导致成像过程不稳定，并且CCD摄像机数字化图像分辨率低，存在量化误差，存在较大的非线性镜头畸变.
　　2) 计算机视觉中所测量的一般为近景，为了使系统小巧，两摄像机之间的基线长度不可能很长，从而使得系统计算误差较大.
　　3) 在计算机视觉中，进行三维重建需要大数量的图像点，有时要求实时地处理数据并给出结果.
　　此外，不同的应用背景也对定标技术提出了不同的要求.在立体计算机视觉中，如果系统的任务是物体识别，则物体相对于某一个参考坐标系的绝对定位显得并不特别重要，更重要的是物体特征点间相对位置的精度.举例来说，在一个基于CAD的物体识别系统中，所研究的物体上的特征的相对位置必须具有足够高的精度，才能进行有效的匹配和识别.如果系统的任务是物体的定位，相对于某一个参考坐标系的绝对定位精度就特别重要.例如，在一个自主车辆导航系统中.自主式移动机器人必须准确地知道其自身的位置、工作空间中障碍物的位置、以及障碍物的运动情况，才能有效地、安全地进行导航.CCD摄像机的上述特点和应用问题的要求使得定标技术、精度和实时性等问题的研究显得特别重要，同时也导致了研究成果的多样性.
　　摄像机参数总是相对于某种几何成像模型的，这个模型是对光学成像过程的简化，比如最常用的针孔模型，它是摄像机定标研究的基本模型.然而很多情况下这种线性模型不能准确描述摄像机成像的几何关系，如在近距、广角时的情形，因此还需要考虑线性或非线性的畸变补偿后，才能更合理地看作针孔模型成像过程.利用校正后的模型进行三维重建才能得到更高的精度.因此成像模型和畸变补偿成为计算机视觉中摄像机定标研究的重点.
　　上述这些内容构成了传统摄像机定标研究的主要问题.其基本方法是，在一定的摄像机模型下，基于特定的实验条件如形状、尺寸已知的定标参照物，经过对其图像进行处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数，大致有基于单帧图像的基本方法和基于多帧已知对应关系的立体视觉方法.
　　另一种重要的应用背景是，在很多情况下，由于存在经常性调整摄像机的要求，而且设置已知的定标参照物也不现实，这时就需要一种不依赖定标参照物的所谓摄像机自定标方法，成为目前摄像机定标研究的重点.总的来看，现有的摄像机定标技术大体可以归结为两类：传统的摄像机定标方法和摄像机自定标方法.
2 传统的摄像机定标方法
　　从计算思路的角度上看，传统的摄像机定标方法可以分成四类，即利用最优化算法的定标方法，利用摄像机变换矩阵的定标方法，进一步考虑畸变补偿的两步法和采用更为合理的摄像机成像模型的双平面定标方法.文［4］中按照求解算法的特点将它分为直接非线性最小化方法(迭代法)、闭式求解方法和两步法，也不失为一种好的划分方法.
2.1 利用最优化算法的摄像机定标方法
　　这一类摄像机定标方法的优点是，可以假设摄像机的光学成像模型非常复杂，包括成像过程中各种因素.然而由此带来的问题是：
　　1) 摄像机定标的结果取决于摄像机的初始给定值，如果初始值给得不恰当，很难通过优化程序得到正确的定标结果.
　　2) 优化程序非常费时，无法实时地得到定标结果.
　　2.1.1 摄影测量学中的传统方法
　　文［5］的定标方法是这一类定标技术的典型代表.他考虑了摄像机成像过程中的各种因素，精心设计了摄像机成像模型.对于每一幅图像，利用了至少17个参数来描述其与三维物体空间的约束关系，计算量非常大.由于引进的参数比较多，并使用了特殊的专业量测像机(其所摄取的照片的分辨率比普通的固态成像感光阵列高4倍以上)，在图像投射和三维重建时取得了很高的精度.
　　对于Faig［5］所使用的方法，我们还要提及注意的一点是，他利用的约束条件是针孔摄像机模型的共面约束条件.他所使用的方法实际上是一种自定标方法.我们要指出这一点的原因是，摄像机自定标技术的讨论也是本文的一个重要内容.
2.1.2 直接线性变换方法(DLT)
　　直接线性变换方法是Abdel-Aziz和Karara首先于1971年提出的［1］.通过求解线性方程的手段就可以求得摄像机模型的参数，这是直接线性变换方法的吸引力之所在.然而这种方法完全没有考虑摄像机过程中的非线性畸变问题，为了提高定标精度，非线性最优化算法仍不可避免.正如Karara自己所指出的那样，当我们首先提出直接线性变换方法时，我们给出了一组基本的线性约束方程，用来表示摄像机坐标系与三维物体空间坐标系之间的线性变换关系，没有考虑成像时任何的非线性补偿问题并将相应的参数引入约束方程.然而到后来，直接线性变换方法改进扩充到能包括这些非线性因素，并使用非线性的手段求解时，直接线性变换方法这个术语却没有改变.这段说明指出了直接线性变换方法具有两种含义，一种含义是直接通过求解一组线性方程得到摄像机的有关参数；另一种含义是求解的过程不排除使用非线性优化算法.
　　直接线性变换方法是对摄影测量学中的传统方法的一种简化.尽管从得到的直接线性变换矩阵可以求取摄像机的内部参数和外部参数，但也可以不必这样做.与摄影测量学中的传统方法相比，更符合计算机视觉中应用问题的要求和所使用的CCD摄像机的特点，成为连接摄影测量学的计算机视觉之间的桥梁.两个领域都可以使用直接线性变换方法对摄像进行标定.直接线性变换方法所使用的模型是

其中是三维物体空间中控制点的坐标，（u,v）是图像上对应于三维控制点的图像点的坐标，lij是直接线性变换方法的待定参数.
　　不失一般性，我们可以令l23＝1.如果知道N(N＞5)个标准参照物的控制点的坐标
及其对应的图像上的坐标(u,v)，11个参数就可以用线性最小二乘算法计算.
　　当不考虑摄像机成像过程镜头的非线性畸变时，直接线性变换方法可以划分为我们下面将要讨论的一类定标方法.当考虑非线性畸变时，直接线性变换方法中图像点与三维空间中控制点的对应关系则是

在这里，是标准参照物上的控制点坐标，且（ui,vi）是标准参照物上控制点对应的实际图像坐标.这些图像点利用数字图像处理技术获得.是校正后的图像点坐标.
是在图像点（ui,vi）处的镜头畸变校正.
　　由此我们可以看出，在直接线性变换方法中，非线性畸变因素的引入是非常方便的.
　Dainis和Juberts在文［6］中给出了利用直接线性变换方法进行摄像机定标的结果，他们的系统是为了准确的测量机器人的运动轨迹.该系统能够实时地测量出机器人的运动轨迹，但并不要求定标算法对系统的标定是实时的.
2.2 利用透视变换矩阵的摄像机定标方法
　　从摄影测量学中的传统方法可以看出，刻划三维空间坐标系与二维图像坐标系关系的方程一般说来是摄像机内部参数和外部参数的非线性方程.如果忽略摄像机镜头的非线性畸变并且把透视变换矩阵中的元素作为未知数，给定一组三维控制点和对应的图像点，就可以利用线性方法求解透视变换矩阵中的各个元素.
　　严格来说，基于摄像机针孔模型的透视变换矩阵方法与直接线性变换方法没有本质的区别，而且透视变换矩阵与直接线性变换矩阵之间只相差一个比例因子.基于两者都可以计算摄像机的内部参数和外部参数.
　　这一类定标方法的优点是不需利用最优化方法来求解摄像机的参数.从而运算速度快，能够实现摄像机参数的实时的计算.缺点是：
　　1) 定标过程中不考虑摄像机镜头的非线性畸变，定标精度受到影响；
　　2) 线性方程中未知参数的个数大于要求解的独立的摄像机模型参数的个数，线性方程中未知数不是相互独立的.这种过分参数化的缺点是，在图像含有噪音的情况下，解得线性方程中的未知数也许能很好的符合这一组线性方程，但由此分解得到的参数值却未必与实际情况很好地符合.
　　利用透视变换矩阵的摄像机定标方法被广泛应用于实际的系统，并取得了满意的结果［7～10］.
　Ganapathy在文［11］中首先给出了一个由透视变换矩阵求解摄像机内部参数和外部参数的方法，并对分解过程作了详细的分析.
2.3 两步法
　　摄影测量学中的传统方法要使用最优化算法求解未知参数，求解的结果常常取决于给定的初始值.如果初始值给定不合适，就很难得到正确的结果.直接线性变换方法或者透视变换矩阵方法可以利用线性方法求解摄像机参数，其缺点是没有考虑镜头的非线性畸变、精度不高.如果先利用直接线性变换方法或者透视变换矩阵方法求解摄像机参数，再以求得的参数为初始值，考虑畸变因素，并利用最优化算法进一步提高定标精度，这就形成了所谓的两步法［4，12］.
　Tsai［4］在他的论文中所使用的是典型的两步法.在他的方法中，CCD阵列中感光元的横向间距和纵向间距被认为是已知，其数值是靠摄像机厂家提供的.他所假设的摄像机内部和外部参数分别是：
　　1) f等效焦距；
　　2) k1,k2镜头畸变参数；
　　3) ｓx非确定性标度因子，它是有摄像机横向扫描与采样定时误差引起的；
　　4) （CxCy）图像中心或主点；
　　5)　t三维空间坐标系与摄像机坐标系之间的旋转矩阵和平移向量.
　Tsai的两步法基于以下几点观察，参照图1.

图1 平行性约束
　　1) 假设摄像机镜头的畸变是径向的，无论畸变如何变化，从图像中心点Oi到图像点（xd,yd）的向量的方向保持不变，且与平行.如图1所示，Poz是光轴上的一点，其Z坐标与物点在摄像机坐标系下的坐标值相同；
　　2) 等效焦距f对xd和yd产生同样的影响，所以f的大小不影响向量的方向；
　　3) 当世界坐标系沿着x和y轴放置和平移，使得在每一点有然后坐标系沿着z方向平移时，对xｕ和yｕ的影响相同，从而向量的方向保持不变；
　　4) 在每一点处向量的约束条件与径向畸变表达式的系数、等效焦距、三维空间平移向量t的z分量无关.这一约束条件对于确定三维空间的旋转矩阵R、从三维世界坐标系到摄像机坐标系平移向量的x和y分量、非确定性标度因子sx是充分的.
　　Tsai说明了上面的平行约束条件对参数的确是很有利的.它不仅对唯一的确定外部参数和内部参数中的标度因子sx是充分的，而且对这些参数的求解归结为求解具有五至七个参数的线性方程.
　　Tsai的方法只考虑了径向畸变，没有考虑切向畸变.在文［12］中同时考虑了切向畸变，并给出了相应的算法，是对两步发的重要发展，此外，他的工作还提出了定标精度的分析方法.
2.4 双平面定标方法
　　研究人员在传统摄像机定标研究的另一方向也作了深入的探讨.这就是寻找更合理的摄像机模型，使之更全面、更有效地表示CCD摄像机实际成像过程.Martins等首先提出了双平面模型（two-plane model）［13］.马颂德和魏国庆［22,23］在利用双平面模型标定摄像机参数方面做了大量的研究工作［14～16］.
　　这种方法的优点是利用线性方法就可以解有关参数；缺点是要求解大量的未知参数，存在过分参数化的倾向.
　　双平面模型与针孔模型的基本区别在于，双平面模型不像针孔模型那样要求所有投射到面像平面上的光线必须经过光心.给定成像平面上的任意一个图像点，便能够计算出两个定标平面上的相应点，从而确定了投射到成像平面上产生该图像点的光线.双平面模型示于图2中.

图2 双平面模型
　　对每一个定标平面，利用一组定标点建立彼此独立的插值公式.虽然插值公式是可逆的，但其逆过程需要一个搜索算法，所以所建立的模型一般只用于从图像到定标平面的映射过程.在文［13］中，提出了三种插值方法：线性插值、二次插值和线性样条插值.
　　线性近似时，定标平面上相应点坐标表示成图像点坐标的线性组合.计算公式为
pi=AiｘL,　i=1,2
这里L=(u,v,1)T是图像点的齐次坐标；是第i个定标平面上的相应点；Ai是一个3×3的回归参数矩阵.
　　要确定所有的参数值，对于每一个平面应该知道至少三点.当已知N（N＞3）个定标点时，Ai可以利用最小二乘技术求解，求解公式为

其中P和L是3×N阶矩阵，其第j列分别是向量pｉ和Lｉ所对应的第j个定标点.
　　在一般情况下，Ai总共有18个特定参数.当两个定标平面平行于XY平面时，两个回归参数矩阵的第三行具有（0,0，Zi）的形式，故此未知数目减至12个.
　　利用两次插值对两个定标平面进行二阶近似，

是第i个定标平面上的相应点；Ai是一个3×6的回归参数矩阵.
　　要确定所有的参数值，对于每一个平面应该至少知道6点.当已知N（N＞6）个定标点时，Ai同样可以利用最小二乘技术求解.
　　与第一种情况相似，在一般情况下，总共有36个待定参数.当两个定标平面平行于XY平面时，两个回归参数矩阵的未知参数数目可以减少24个.
　　使用线性样条插值近似两个定标平面时，定标点越多，近似结果就越准确.对于每一个线性样条平面近似时至少需要三个点.每三个相邻的最近点定义一个插值平面.对每一个近似插值平面的求解与第一种情况相似.
　　马颂德和魏国庆在他们的文章中［22，23］，通过对成像过程的分析，并考虑了镜头畸变因素，提出了利用下式作为从图像到两个定标平面的回归模型并进行实验验证，该方法的优点是全部非线性模型参数可以用线性方法求解.
　（1）
3 摄像机自定标方法
　　在小孔模型下，摄像机自定标可以在三个层次上进行.在对外参数一无所知的条件下，即对空间结构不作任何假设，摄像机的运动也不能量化描述，这时的定标只能给出投影矩阵M，而不能从中分解出摄像机内外参数，这是射影意义下的定标.如果假设成像深度足够大，即满足平行投影条件，这是可以进行仿射意义下的定标，其结果是由无穷远点引入的同形（Homography）矩阵.如果能精确得到摄像机运动的外参数，投影矩阵的分解就可能是唯一的，这时可以得到摄像机内参数，这是最理想的自定标.关于这个问题的详细论述请参阅文［17］，本节我们讲述目前自定标研究的几种主要结果.
3.1 利用本质矩阵和基本矩阵的摄像机定标方法
　　假设摄像机的光学成像模型为针孔模型，基本矩阵所定义的是基于两幅图像上点的对应关系的基本几何约束关系.这个基本的几何约束关系表示如下：
　(2)
　　其中E=TR称为本质矩阵，R是旋转矩阵，T是由平移向量元素构成的斜对称矩阵，它们描述了两个摄像机坐标系之间的位置关系.本质矩阵是由Longuet-Higgins教授首先引入的［18］.
　　因为本质矩阵只包含摄像机外部参数信息，即两个摄像机坐标系之间相对运动关系，所以根据本质矩阵能够求得摄像机的外部参数.这就是所谓的通过点对应求运动的(Motion frompoint matches)问题.
　　O.D.Faugeras和S.Maybank在文［19］中详细地分析了Motion from point matches问题的解的性质，证明了该问题的多解性.他们通过代数几何和传统射影几何两种途径给出了此问题解的性质的证明.记本质矩阵为E，则矩阵E满足下列关系：

　　由上式得到九个三次多项式方程.这九个多项式方程是线性独立的，它们定义了矩阵E的一个代数流形M.在给定5对对应点时，M的维数是5，度数是10，E的解的最大个数是10.在给定足够多对对应点时，E的解的最大个数是3.
　　假设摄像机的内部参数是fx，fy,u0,v0，图像点P1和P2的齐次坐标分别是则方程(3)的向量m1和m2可以表示成
　(3)，(4)
这里

把方程式(3)和(4)代入方程(2)，则有
　(5)
其中
　(6)
就是基本矩阵.
　　可见，基本矩阵不仅包含了摄像机的外部参数信息，而且也包含了摄像机的内部参数信息.求得基本矩阵后，由此可以进一步求解内部参数或者外部参数或者两者.另外，基于基本矩阵也可以求取外极线变换的参数［19～21］.
3.2 利用绝对二次曲线和外极线变换性质的摄像机定标方法
　　文献［19，20］对利用绝对二次曲线和外极线变换性质的摄像机定标方法进行了研究，其主要思想如下：
　Kruppa方程［20］将外极线变换与绝对二次曲线Ω的图像ω联系起来.ω仍然是摄像机成像平面上的二次曲线，其确定了摄像机的内部参数.Kruppa方程提供了从外极线变换求取摄像机的内部参数的途径，而这些外极线变换与摄像机的运动相联系.为了确定绝对二次曲线Ω的图像ω，摄像机必须至少运动三次、求得三个外极线变换.
　　绝对二次曲线是无穷远平面上的一个特殊的二次曲线，其与空间的欧氏性质紧密相关.在射影空间P3的笛卡尔坐标系下，绝对二次曲线Ω的方程是

　　绝对二次曲线Ω在刚体运动下不变的性质，使得其图像ω与摄像机的方位无关.它只决定于摄像机的内部参数矩阵A.
　　摄像机从位置a移动到位置b,k是连接a处到b处摄像机光心的连线，P和P′是与此次运动相联的外极点.实际上，外极点P和k在第一个成像平面上的投影；外极点P′是k在第二个平面上的投影.Π是过k的任一平面，其在第一个成像平面和第二个成像平面上的投影分别为l和l′.外极线变换定义了一个从经过P的直线到经过P′的直线的一个同形(homography)，且满足上面定义的l和l′的对应关系.符号表示同形对应，例如
　　由于摄像机成像平面上的Ω的图像ω与摄像机的位置无关，如果平面Π与绝对二次曲线Ω相切，则Π在两个成像平面上的投影1和1′都与ω相切.由此进一步我们可以得到，经过P与ω相切的两条切线通过外极线变换和经过P′与ω相切的两条线对应.与ω相切的外极线相对应这个条件给出了两个约束关系，它们将外极线变换与图像ω联系起来.Kruppa方程是这两个束关系的代数形式描述.
　　在第一个像平面上使用射影坐标利用外极线与定直线y3=0相交的关系可以把相应的外极线参数化.设〈p,y〉为过点P和y的一条外极线，任意一点X落在〈p,y〉上当且仅当(p×y).X=0.又设D是二次曲线ω的对偶二次曲线，根据D的定义，〈p,y〉与ω相切当且仅当它落在这条二次曲线上，即
(p×y)TD(p×y)=0,(7)
其中D的定义为
　(8)
上式一共含6个参数，由ω确定D时存在一个比例因子.如果把这个标度因子也考虑在内，D有5个自由度.令y3=0并将(8)式代入(7)式，有
　(9)
其中
　(10)
同样，根据摄像机第二个成像平面上的外极线〈p′,y′〉与图像ω相切约束关系可以得到一个与(9)式类似的约束关系：
　(11)
其中系数的计算关系式也与(1)式相类似.
　　外极线变换规定了一个从直线y3=0到直线y′3=0的一个双线性变换N.如果y=且y′=(y1，y2，0)T，则成立，当且仅当y′=Ny.令τ=y2／y1，τ′=y′2／y′1，则双线性变换N可表示为
　(12)
已知两个外极点p,p′(关于利用对应点求取外极点的问题请参阅文献［19～21］)和一组对应点利用
　(13)
并对方程(12)应用最小二乘技术，即可求得参数a,b,c,d.
　　已知参数a,b,c,d之后，由方程(9)，(11)和(12)可得下面的关系：
　(14)
　　方程(14)中的每一个方程是τ的二次方程，两个方程只相差一个比例因子，具有相同的根.两个方程的系数之比对应相等，我们得到Kruppa方程如下：
　(15)
　　由摄像机的每一次运动，我们可以得到如(15)式的两个约束关系.从而三次摄像机运动给出六个约束关系.利用这六个约束关系即可求得对偶曲线D.D与摄像机内部参数矩阵的关系是
D=AAT.
3.3 利用主动系统控制摄像机做特定运动的自定标方法
　　马颂德提出了利用主动视觉系统控制摄像机做两组互垂直的运动，进行手眼定标的方法［22，23］.
　　通常，用于手眼定标的基本约束关系是
　(16)
　(17)
这里R和t是摄像机坐标系相对于机械手末端关节附体坐标系的旋转矩阵和平移向量；Rc1和tc1是用摄像机坐标表示的摄像机或者机械手的运动；Rp1和tp1是用机械手末端关节附体坐标表示的机械手运动.
　　如果机械手只做平移运动，即Rc1=Rp1=E，则式(17)可以写成
　(18)
如果摄像机只做平移运动，由连结运动前后两幅图像上的对应点得到的向量相交于一点，该点称为Focus of Expansion(FOE).并且，连接摄像机光心O(与FOE)的连线平行于摄像机运动的方向.
3.3.1 已知摄像机内部参数求旋转矩阵R
　　摄像机在三个不共面方向上做平移运动，都是规一化向量.F1,F2,F3分别是三幅图像上相应的FOE.故有OF1,OF2,OF3分别平行于.设Fi(i=1,2,3)的图像坐标是(Ui,Vi)(i=1,2,3)，则有
　(19)
设Fi(i=1,2,3)的规一化向量是tci(i=1,2,3)，则可以通过下式求得

3.3.2 求取摄像机内部参数
　　求取摄像机内部参数时，要求机械手控制摄像机在三个相互垂直的方向上做平移运动.所以有(OFi)T(OFj)=0,(i,j=1,2,3,i≠j)，利用(19)式将此式展开得到
　(20)
　(21)
　(22)
把(20)分别减去(21)，(22)，并且令可以得到下列两个x,y,z的线性方程：
　(23)
　(24)
要解得x,y,z机械手需控制摄像机做另一组相互正交的运动，从而得到另外两个与(23)式和(24)式类似的线性方程.摄像机内部参数能够进一步由x,y,z计算得到.
　　3.3.3 计算平移向量t
　　如果摄像机的运动不是纯粹的平移，可以利用(17)式求解平移向量t.在式(17)中，R，Rp1,tp1已知，若能解得tc1，问题就得以解决.求解tc1的步骤如下：
　　1)摄像机处于位置A时，其坐标系原点为O1，重建任意三维物点P.作为一种重建P的简单情况，由于摄像机坐标系相对于机械手末端关节附体坐标系的旋转矩阵R已知，可以控制摄像机沿摄像机坐标系的X方向移动，两摄像机坐标系的基线长度可从主动视觉平台的控制器中读取.从而向量O1P可以计算得到.求得O1P后将摄像机归位到A.
　　2)移动摄像机到位置B，设其坐标系原点为O2，移动参数Rp1和tp1可从主动视觉平台的控制器中读取.
　　3)与步骤一类似，求取向量O2P.
　　4)利用下式解得tc1：

3.4 利用多幅图像之间的直线对应关系的摄像机定标方法
　　最近Hartley提出了一种张量，这个张量在三个视点的景物分析中所起的作用与基本矩阵在两个视点的景物分析中所起的作用相似，并研究了利用多幅图像中线段的对应关系进行摄像机自定标的方法［24，25］.在文［24,26］中利用N幅图像中的直线特征进行摄像机定标和重建的方法也得到了研究.此外，Shashua在文［27～29］中讨论了通过三幅图像对投影矩阵进行约束，并首次提出了三线伪张量(Trilinear Tensor)形式对这种约束进行描述的方法，进而可以实现摄像机的自定标.在此提及这些近期的研究工作是因为这些都是我们值得注意的研究动态.
4 总结
　　如前面所指出的，传统的摄像机定标是利用一个标准参照物与其图像的对应约束关系，来确定摄像机模型的参数.为了提高计算精度，同时还需确定非线性畸变校正模型的参数.当前，对传统摄像机定标技术的研究集中在如何有效地、合理地确定非线性畸变校正模型的参数.
　　自定标技术不同于传统的摄像机定标技术.正如我们提到的，传统的摄像机定标技术必须利用一个标准参照物以获得准确的三维度信息.而摄像机的自定标技术，并不需要知道准确的三维度量信息，试图利用从图像序列中得到的约束关系来计算摄像机模型的参数.这就使在线地、实时地校准摄像机模型参数成为可能.然而由此也产生了不少问题.一个相当棘手的问题是，有些摄像机自定标所得到的解既不是唯一的，也不是稳定的.更准确的说，由约束关系所得到的解在一般情况下是多解的；同时，在图像中含有噪音，即使噪音很小的情况下，解得的值也与实际值有很大的差别.因此，如何在噪音的情况下提高解的稳定性，一直是自定标领域的研究人员试图解决的问题.
　　正如计算机视觉中的许多问题一样，摄像机自定标问题的求解可以归结为求解一组非线性多项式方程组问题.解决这类问题的最常用的方法是各种优化算法.然而优化算法本身既不能保证找到全局最优解，又不能说明解的性质.故此在计算机视觉中对求解非线性问题方法的研究，以及利用这方法来探讨非线性问题的性质也是一个很重要的方面.
邱茂林 1968年生，1993年进入中科院自动化所模式识别实验室，攻读计算机视觉和计算机图形学方向的博士学位.1996年在中国科技大学北京认知科学开放研究实验室从事认知科学方面的研究.目前在以色列希伯莱大学从事计算机视觉方面的研究.
马颂德 1946年生，1968年毕业于清华大学，1986年获法国国家博士学位，现为中国科学院自动化所所长，博士生导师，IEEE高级会员.长期从事计算机视觉、模式识别和图像处理等方面的工作.
李毅 1970年生，1996年进入中国科学院自动化所模式识别实验室，攻读计算机视觉和计算机图形学方向的博士学位.目前的研究兴趣是图像处理、基于模型的运动分析和目标识别.
邱茂林(中国科技大学北京认知科学开放研究实验室 北京 100039)
马颂德(中国科学院自动化研究所模式识别国家重点实验室 北京 100080)
李毅(中国科学院自动化研究所模式识别国家重点实验室 北京 100080)
参考文献
1，AbdelAziz Y I, Karara H M. Direct linear transformation into objectspace coordinates in closerange photogrammetry. In:Proc. Symp. CloseRange　Photogrammetry.1971.1～18
2，Brown D C. Decentering Distortion of Lenses. Photogrammetric Eng. Remote Sensing. 1966.444～462
3，Wong K W. Mathematical foundation and digital analysis in closerange photogr ammetry. In:Proc.13th Congress of the Int. Society for Photogrammetry.1976,1355～1373
4，Tsai R Y. An efficient and accurate camera calibration technique for 3D machine vision. In:Proc. CVPR'86.364～374
5，Faig W. Calibration of closerange photogrammetric systems:mathematical form ulation. photogrammetric eng.Remote sensing,1975.41(12)：1479～1486
6，Dainis A, Juberts M. Accurate remote measurement of robot trajectory motion. In:Proc. Int. Conference on Robotics and Automation. 1985.92～99
7，Yakimovsky Y, Cunningham R. A system for extracting three dimensional measure ments from a stereo pair of TV cameras.Computer Graphics and Image Processing,1978.7：195～210
8，Hall E L, Tio M B K, McPherson C A, Sadjadi F A. Curved surface measurment and recognition for robot vision. In:Proc. IEEE Workshop on Industrial Application
of Machine Vision. 1982
9，Itoh A M, Ozawa S. Distance measuring methods using only simple vision constructed for moving robots. In:Proc. ICPR'84.1:192～197
10，Luh J Y, Klaasen J A. A three dimensional vision by offshelf system with multicameras.IEEE Trans. PAMI,1985，7(1)
11，Ganapathy S. Decomposition of transformation matrices for robot vision. In:Proc. Int. Conference on Robotics and Automation. 1984.130～139
12，Weng J, Cohen P, Herniou M. Camera calibration with distortion models and accuracy evaluation.IEEE Trans. PAMI,1992，14(10)：965～980
13，Martins H A, Birk J R, Kelley R B. Camera models based no data from two calibration planes. Computer Graphics and Imaging Processing.1981，17：173～180
14，Wei G, Ma S. Twoplane calibration:a unified model. In:Proc. CVPR'91. 1991.133～138
15，Wei G, Ma S. Complete twoplane camera calibration and experimental comparisons. In:Proc. ICCV'93. 439～446
16，Wei G, Ma S. Implicit and explicit camera calibration:theory and experiments. IEEE Trans. PAMI,1994，16(5)
17，Faugeras O D. Stratification of three dimensional vision:projective, affine,and metric representations. J.Opt. Soc. Am.A. 1995，12(3)：465～484
18，LonguetHiggins H C. A computer algorithm for reconstructing a scene from two projections. Nature,1981，293(10)：133～135
19，Faugeras O D, Maybank S. Motion from point matches:multiplicity of solutions. Intl.J.Computer Vision,1990，4：225～246
20，Maybank S J, Faugeras O D. A theory of selfcalibration of a moving camera. Intl.J. Computer Vision,1992，8(2)：123～151
21，Luong Q T, Deriche R, Faugeras O D. On determining the fundamental matrix:an
alysis of different methods and experimental results. INRIA Research Report.1993.No.1894
22，Ma S, Wei G. A selfcalibration technique for active vision system. In:Proc. ACCV'95.628～631
23，Ma S. A selfcalibration technique for active vision system.IEEE Trans. Robotics and Automation,1996，12：114～120
24，Faugeras O D, Mourrain B. On the geometry and algebra of the point and line correspondences between n images. In:Proc.ICCV’95.951～956
25，Hartley RI. A Linear method for reconstruction from lines and points. In:Proc. ICCV'95.882～887
26，Heyden A. reconstruction from image sequences by means of relative depths. In:Proc.ICCV'95.1058～1063
27，Shashua A. Trilinear functions for visual recognition.In:Proc.ECCV'94.479～484
28，Shashua A, Werman M. On the trilinear tensor of three perspective views and its underlying geometry. In:Proc.ICCV'95.
29，Shashua A. Algebraic function for recognition.IEEE Trans.PAMI.1995，17：779～789
收稿日期1997-08-06 收修稿日期 1999-03-05
