自动化学报
ACTA AUTOMATICA SINICA
1999年 第25卷 第1期 vol.25 No.1 1999



由人面照片重建人面三维模型的探讨1)
郑　飞　陈　梅

关键词　人面照片，特征轮廓线，全景图象，关联调整。

RECONSTRUCTING 3D FACE MODEL FROM FACE PHOTOS

ZHENG Fei
(School of Electromechanical Engineering, Xidian University, Xi'an　710071)
CHEN Mei
(School of Communication Engineering, Xidian University, Xi'an　710071)
Key words　Human face photo, feature contour line, panoramic image, associate adjustment.

1　引言
　　人面的计算机辅助三维造型有着广泛的应用前景.现有方法主要采用三角面片或自由曲面建立人面的三维几何模型，进而控制该模型的形状与表情［1，2］.也有人采用图象变形的方法，但其三维效果有限［3］.现有方法易于进行表情控制和基于物理的仿真.但由于需要采用大量的面片来逼近，其造型速度较慢，且显示效果的人工性明显.本文提出一种新方法，即：由人面照片合成人面的全景图象，再直接由全景图象获得三维效果.该方法相对简单易行，造型速度较快，显示效果也较好.
　　在具体形成全景图象时，可以有两条途径：其一是由特征轮廓线合成全景图象；其二是由特征点调整样板模型的全景图象，进而形成造型对象的全景图象.
　　
2　全景图象
　　近年来出现的三维数字化仪不仅可以获得某一物体的全景颜色图象，还可以获得该物体的全景深度图象.全景图象尽管也是二维描述的，但由于全景深度图象的存在，使得所描述模特的面壳在圆柱坐标系下有着完整的三维信息，因而可以直接从中获得三维效果.本文也直接将人面的全景深度图象和对应的全景颜色图象称为三维模型，并探讨由某一模特的头面部照片来合成其全景深度图象和全景颜色图象.
　　
3　由特征轮廓线合成全景图象
　　要由照片合成全景深度图象和全景颜色图象，一般需要一张正面照片和一张对应的正侧面照片.它们所共同包含的三维信息基本上可以满足合成要求.
　　为合成全景图象，可定义三类轮廓线：主轮廓线、控制轮廓线和副轮廓线，均为纵向定义.主轮廓线三条，决定模特头面部的主要形状；控制轮廓线六条，分别通过眼、鼻、嘴上的多个特征点，决定这些主要器官的位置；此外的360度范围内的轮廓线均为副轮廓线.
　　主轮廓线和控制轮廓线(合称为特征轮廓线)可采用Bezier曲线，通过参照样板模特的相应特征轮廓线的正交投影线，用鼠标半自动半交互地在两张对应的模特照片上拟合形成.交互获得的控制轮廓线必然存在偏差.由它们所通过的特征点在全景图象中的角度和已获得的主轮廓线，自动调整其在照片上的投影，可使该整条轮廓线在全景图象中对应同一角度.
　　当九条特征轮廓线都形成后，就可采用三维插值方法自动形成各副轮廓线.三维插值方法的选择，需要考虑人面的三维形态特征，并保证轮廓线所形成三维模型的平滑性.在求得各副轮廓线后，就可形成模特头面部的全景深度图象.由各三维轮廓线在两张对应照片上的投影，可得到三维轮廓线上各型值点对应的颜色值，从而合成对应的全景颜色图象.图1为模特A的两张对应照片中特征轮廓线的正交投影线，以及合成的全景颜色图象.　　


(a) 正面轮廓投影线　(b) 正侧面轮廓投影线


(c) 合成的全景颜色图象
图1　模特A照片中的轮廓投影线以及算法合成的全景颜色图象

　　仅由一张正面照片，或仅由一张正侧面照片，参照样板模型的特征轮廓线，也可合成造型对象的全景图象，并且也可在一定范围内得到较好的显示效果.而由两张对应照片合成的效果最好.进一步的实验和误差分析还需在获得模特A的精确全景深度图象后进行.
　　
4　由特征点调整获得全景图象
　　也可以由照片中的对应特征点直接调整样板模型的全景深度图象和全景颜色图象，合成造型对象的全景图象.
　　在这种合成算法中，首先由样板模特的全景图象投影形成其正面和正侧面上的投影图象，并建立这两幅图象的对应特征点库.由造型对象的两幅对应照片可以得到这些特征点的新坐标值，进而可求得其在全景图象中应有的位置值和深度值.由照片的特征点的值自动地关联调整样板模特的全景深度图象，可形成造型对象的全景深度图象，最后由该全景深度图象中各三维轮廓线在造型对象的照片中的投影，可获得各三维轮廓线上各型值点的颜色值，从而形成其对应的全景颜色图象.
　　这种基于模型的方法自动化程度较高，描述也较精确，但技术难度较大.经初步实验表明，该方法也是可行的.进一步的研究仍在进行中.
　　
5　基于全景图象的投影显示
　　在得到全景图象后，就可以建立起三维模型.传统的方法是：从中选取有限的采样点，建立三维几何模型.本文采用直接对全景图象进行投影显示的方法，这种方法基于图象平面的光线投射方法.其基本流程为：建立物件空间的界盒；由视点V与界盒中心C确定投影平面，即图象平面；将界盒各顶点投影到图象平面，确定出图象平面上的投影范围；在图象平面，对投影范围中的每一位置点I，反求其在物体空间的坐标点P；由视点V与坐标点P确定投射光线在界盒内的投射线段NF；对投射线段NF，由近视点N向远视点F投射，并在全景深度图象中采样；未触及模特面壳时继续投射；触及模特面壳时中止投射，根据被触及位置在全景颜色图象中采样，并将对应的颜色在对应于图象平面的位置点上显示.　　

　　
(a) 视点一　　(b) 视点二　　(c) 视点三　　(d) 视点四
图2　由特征轮廓线合成全景图象方法的造型图例

　　图2为采用由特征轮廓线合成全景图象的方法对模特A造型的投影图例；图3为采用由特征点调整合成全景图象的方法对模特A造型的投影图例.
　　
6　结论
　　本文中所举图例均在微机环境下实现.从造型结果看，本方法所需的计算机资源低，算法简单，速度较快，而且显示效果也较好.
　　在由特征轮廓线合成全景图象的方法中，形成特征轮廓线需要一定的交互操作，需进一步提高形成特征轮廓线的自动化程度.在由特征点调整合成全景图象的方法中，在给出各对应特征点后，全景图象的形成可自动完成，但还需要提高关联调整算法的有效性.深入的研究正在进一步开展.　　

　　　
(a) 视点一　　(b) 视点二　　(c) 视点三　　(d) 视点四
图3　由特征点调整合成全景图象方法的造型图例
　　1) 陕西省自然科学基金资助项目.
　　郑　飞　博士，副教授.研究领域为：CAD，CG，可视化技术.
　　陈　梅　硕士，讲师.研究领域为：CAD，信号处理，可视化技术.
作者单位：郑　飞(西安电子科技大学电子机械学院　西安　710071)
陈　梅(西安电子科技大学通信工程学院　西安　710071)
参考文献
1　Huang T S, Tang L. 3D Face Modeling and It's Application. Journal of Pattern Recognation and Artificial Intelligence. 1996，10：491―495
2　Lee Y et al. Realistic Modeling for Facial Animation.ACM Computer Graphics,1995，29(7)：57―62
3　Seitz S M, Dyer C R. View Morphing. ACM Computer Graphics, 1996，30(8)：21―30


收稿日期　1997-11-24　收到修改稿日期　1998-05-11
