一种利用单幅图像的现场摄像机自标定方法
A Live Camera Calibration Method Using Single Image

作者: 杨 麒 , 李天伟 , 唐露露 , 黄 谦 :海军大连舰艇学院,辽宁 大连;

关键词: 摄像机标定灭点焦距外部参数Camera Calibration Vanishing Point Focal Length External Parameters

摘要:
针对现场摄像机工作特点对标定方法的要求,设计了利用单幅“田”字形标定物图像的摄像机标定方法。基于灭点理论求解出空间两组平行线组在成像平面上的投影所确定的两个灭点,并根据灭点的性质求解出与两组平行线组相互正交的另一组平行线组所确定的灭点,进一步得到内参数矩阵和旋转矩阵。基于上述结果,通过做世界坐标系原点投影点的辅助线段求解平移向量。使用matlab软件编写本文方法的标定程序,做50组实验,并与张正友标定法进行了对比。实验验证了本方法的准确性和稳定性,证明了本文标定方法快速简便。

Abstract: In view of the requirements of the live camera work characteristics on the calibration method, the camera calibration method for the image of a single “Tian” glyph is designed. Based on the van-ishing point theory, the two vanishing points identified by the projection line of two groups of parallel lines in the imaging plane are solved. According to the nature of the vanishing point, the vanishing point determined by another set of parallel lines that are orthogonal to the two groups of parallel lines is solved, the parameter matrix and the rotation matrix in further. Based on the above results, the translation vector is solved by the auxiliary line segment of the world coordinate system origin projection point. Matlab software was used to write the calibration procedure of the method in this paper, 50 groups of experiments were done, and compared with Zhang zhengyou calibration method. The accuracy and stability of this method have been verified by experiments.

1. 引言

摄像机标定是计算机视觉测量的前提和基础,通过摄像机标定构建了三维空间点与二维图像点之间的联系。在视觉监控、视觉监测、视觉定位和测量等应用中,要求摄像机能在妨碍工作的情况下,实现摄像机的实时在线标定。这就要求:摄像机能够在场景中获取足量有效信息;当场景内信息不足时,能够设置简便的标定物或绘制标定图案;标定时摄像机不需改变安装位置;标定过程简便快速。

目前摄像机标定法可分为传统法,自标定法和主动视觉法。传统标定法需用参数已知的精密标定物,根据标定物上的特征点与该点在图像上投影点对应关系求解摄像机参数。传统标定法标定精定精度较高,主要有直接线形变换法 [1] ,Tsai两步法 [2] ,双平面标定法 [3] ,张正友标定法 [4] 。传统标定法的不足在于,实验需要精密标定物以满足算法和标定精度的要求,部分算法过程较为复杂,标定速度较慢。主动视觉标定法是利用精密的运动或旋转平台,使摄像机镜头和标定物之间按算法需求作相对运动,从而获取标定信息实现标定。如文献 [5] 、文献 [6] 、文献 [7] 、文献 [8] 均为主动视觉法。这些方法标定精度很高,但标定过程中需要高精密的运动或旋转平台,试验条件要求严苛。

虽然自标定法精度不如传统标定法和主动视觉法高,但自标定方法最为灵活,应用场合最广。目前的自标定法可大致归纳成两种:一是利用人为设置标定物进行标定,该方法不需要制作精密标定物,也不需要精密的运动和旋转平台,只需在不同角度获取若干标定物图像即可实现标定。如利用长方体可见边在像平面投影上获得三个正交灭点信息进行标定;文献 [9] 从获取不同位置3幅或3幅以上的标定物图像即可实现标定;文献 [10] 在文献11的基础上设计出新的标定模板,提高了标定精度;文献 [11] 、文献 [12] 中利用射影几何原理及其性质设计出新的标定算法;总结,这类自标定方法没有摆脱对专门标定物的依赖,不适用于设置标定物困难的场合,并且在获取多幅图像过程中需要摄像机与标定物相对位置发生变化,标定过程耗费时间。于是,利用场景内存在几何信息进行标定逐渐成为现场摄像机在线标定的主要方法:文献 [13] 利用高速公路上存在的各类标志线标定摄像机参数;文献 [14] 通过获取建筑物上三组正交平行线信息对摄像机完成标定;文献 [15] 通过获取场景内行走的人的头和脚点,从而利用得到大量消失点与消失线信息计算出摄像机参数。这类方法计算过程较为繁琐,且是根据摄像机工作场合特殊性而设计,需要摄像机视场内有足够的几何信息,但是在部分路面并没有足够使用的标志线,建筑物三组正交平行线不能保证同时出现在摄像机视场内等空间几何信息不足的情况下,需要安装足够简易的标定物以满足需要。

本文设计利用单幅“田”字图案进行摄像机标定方法,仅需获取一幅图像,即可完成摄像机内外参数的标定,算法不繁琐,标定流程简便,能够实现快速标定;同时,标定图案简单,无论是在场景内绘制,如地面、墙面等,或设置“田”字标定物都较其他标定物而言简便易行,适用性广泛。

2. 摄像机的成像模型

本文的摄像机成像模型为经典的针孔模型 [16] 。如图1所示, ( x w , y w , z w ) 为空间点 Q w 在世界坐标系下的坐标,其在摄像机坐标系中坐标为 ( x c , y c , z c ) 。点q为点 Q w 投影到像平面上的一点, ( x , y ) ( u , v ) 分别为点q在像平面坐标系和图像坐标系下的坐标。光轴中心线与成像平面垂直相交于主点 O 0 ( u 0 , v 0 )

2.1. 摄像机内部模型

摄像机内部模型表示图像坐标系上的点 ( u , v ) 与对应空间点在摄像机坐标系下坐标 ( x c , y c , z c ) 之间的

关系。设主点坐标为像平面中心点,可得摄像机内部模型为:

[ u v 1 ] = [ f x 0 u 0 0 f y v 0 0 0 1 ] [ x c / z c y c / z c 1 ] (1)

式(1)表示摄像机四参数模型。矩阵 M 1 = [ f x 0 u 0 0 f y v 0 0 0 1 ] 为摄像机内部参数矩阵。其中 f x = f d x f y = f d y d x d y 分别表示一个像素在像平面上x轴和y轴方向的物理尺寸。

2.2. 摄像机外部模型

摄像机外参数模型表示世界坐标系与摄像机坐标系之间的转换关系 [17] ,即:

[ x c y c z c 1 ] = [ i x j x k x t 1 i y j y k y t 2 i z j z k z t 3 0 0 0 1 ] [ x w y w z w 1 ] = [ R T 0 1 ] [ x w y w z w 1 ] (2)

Figure 1. Camera aperture imaging model

图1. 摄像机小孔成像模型

矩阵 M 2 = [ R T 0 1 ] 为摄像机外部参数矩阵。矩阵 R = [ i x j x k x i y j y k y i z j z k z ] 为转置矩阵,其中向量 i = [ i x i y i z ] T j = [ j x j y j z ] T k = [ k x k y k z ] T 分别表示世界坐标系的 X w 轴、 Y w 轴、 Z w 轴在摄像机坐标系下的方向向量。平移向量 T = [ t x t y t z ] T 表示世界坐标系原点 O w 在摄像机坐标系中的位置。

综上所述,可以构建出空间点与对应图像点之间的关系,即:

z c [ u v 1 ] = [ f / d x 0 u 0 0 0 f / d y v 0 0 0 0 1 0 ] [ i x j x k x t 1 i y j y k y t 2 i z j z k z t 3 0 0 0 1 ] [ x w y w z w 1 ] (3)

求解式(3)中矩阵各个参数的过程就是摄像机标定。本文通过摄像机获取不平行于像平面的“田”字图案的单幅图像即可实现摄像机标定。

3. 本文的摄像机标定方法

3.1. 摄像机内部参数矩阵的求解

3.1.1. 求解第三个灭点坐标

空间平行直线组的投影在像平面上的直线组的交点即为灭点。由灭点性质可知,以空间三组相互垂直的平行线组所对应的三个灭点为顶点所组成的三角形的垂心为摄像机光轴与像平面的交点,即主点。灭点可利用像平面上对应直线信息直接求取,与其他因素无关。若已知两组平行直线组的灭点坐标,即可求出第三个灭点坐标。

图2所示,空间中一正方形ABCD,边长为m;连接各对边中点B1D1,A1C1,两直线交于正方形中心O1。则可得两组相互垂直的平行线组,每组三条直线。设主点为O0,空间点A、B、C、D、A1、B1、C1、D1、O1在像平面上投影分别为a、b、c、d、a1、b1、c1、d1、o1。F1为平行线AB、B1D1、CD所对应的灭点,F2为平行线AD、A1C1、BC所对应的灭点。另一个由与已知两组平行线组相互正交的平行线组确定的灭点为F3

Figure 2. Calibration method

图2. 标定方法示意

则有如下关系:

{ F 1 F 2 F 3 O 0 = 0 F 1 F 3 F 2 O 0 = 0 F 2 F 3 F 1 O 0 = 0 (4)

求解式(4)中任意两个等式可得点F3的坐标。

3.1.2. 基于灭点性质求解焦距

灭点的第二个性质:摄像机坐标系原点(光心)和灭点的连线与对应该灭点的平行线组平行。于是有

O c F 1 A B C D B 1 D 1 O c F 2 A D B C A 1 C 1 。则可得直线 O c F 1 O c F 2 O c F 3 两两相互垂直。

图3所示,三个灭点和摄像机坐标系原点Oc形成一个直角四面体,可得三个直角三角形 Δ O c F 1 F 2 Δ O c F 1 F 3 Δ O c F 2 F 3 。可得三个等式:

{ F 1 F 2 2 = O c F 1 2 + O c F 2 2 F 1 F 3 2 = O c F 1 2 + O c F 3 2 F 2 F 3 2 = O c F 2 2 + O c F 3 2 (5)

各灭点在摄像机坐标系下的坐标为 F 1 ( x 1 , y 1 , f ) F 2 ( x 2 , y 2 , f ) F 3 ( x 3 , y 3 , f ) ,原点 O c ( 0 , 0 , 0 ) 。则式(5)中,各等式均为f的一元二次方程,且 f 0 ,求解该式中任何一个等式可得焦距f。

3.2. 求解旋转矩阵

旋转矩阵 R = [ i x j x k x i y j y k y i z j z k z ] 是世界坐标系三个坐标轴在摄像机坐标系下的单位方向向量组成的矩阵。根据3.1节中所述灭点的第二个性质及其推出的平行关系,可设世界坐标系的原点 O w 为标定图案上任意点。本文以点A作为世界坐标系原点来证明。 X w 轴方向向量和 Y w 轴方向向量分别与向量 A D 和向量 A B 的方向向量相同, Z w 轴方向向量与向量 A D × A B 所得向量的方向向量相同。在摄像机坐标系下,

i = [ i x i y i z ] T j = [ j x j y j z ] T k = [ k x k y k z ] T 分别与 O c F 2 O c F 1 F 3 O c 的单位方向向量相同。

则可由式(6)求取矩阵R:

i = [ i x i y i z ] = O c F 2 O c F 2 , j = [ j x j y j z ] = O c F 1 O c F 1 , k = [ k x k y k z ] = F 3 O c F 3 O c (6)

3.3. 求解平移向量

世界坐标系按照3.2节所设,则 O c A = T = [ t x t y t z ] T 。本文以线段AD为例介绍平移向量的求取方法。

图4所示,作直线 a d 2 交直线 O c D 于点 d 2 A D 在摄像机坐标系下的方向向量为 j = [ j x j y j z ] T ,已知 a ( x a , y a , f ) d ( x d , y d , f ) ,可确定平面直线 a d 2 和平面直线 O c d ,点 d 2 ( x d 2 , y d 2 , z d 2 ) = a d 2 O c d ,即可得 a d 2 的值。 A D = m 。由 Δ O c a d 2 Δ O c A D 相似可得:

T = O c A = O c a m a d 2 (7)

Figure 3. Signal of the origin relation between the vanishing point and camera coordinate system

图3. 灭点与摄像机坐标系原点关系示意

Figure 4. Solve for translation vector notation

图4. 标定方法示意

若取世界坐标系中任意一点G,该点在像平面投影点为g。则 a g = R A G ,直线AG的方向向量为

l = a g a g ,再按照上述方法做辅助线段求解平移向量。则可证,在摄像机视场内已知任何一空间点在世界

坐标系中的坐标,均能够求解出平移向量 T

4. 实验方法

真实图像实验,用经典张正友标定法作为对照。如图5,在不同相对位置获取20张同一棋盘网格标定板图片;相机焦距不变,对本文标定方法中的图案获取单张图像,如图6,用matlab软件编写标定程序,做50组实验;并对比两种方法的实验结果。棋盘网格数为10 × 10,单个方格为6 cm × 6 cm。本文标定图案,大正方形边长为60 cm,并连接对面中点形成“田”字图案。实验使用佳能80 D相机获取所需图片,相机传感器尺寸为22.3 mm × 14.9 mm,照片像素6000 × 4000。

5. 实验结果及分析

5.1. 实验结果

内部参数实验结果如表1所示,利用本文的标定方法进行50次实验。在获取20张棋盘网格图像后,即可获取单张本文标定图像,保证内部参数不变。表1中, f E 表示50次实验焦距平均值, f M A X f M I N

Figure 5. Checkerboard mesh image

图5. 棋盘网格图像

Figure 6. This paper calibrates the pattern

图6. 本文标定图案

Table 1. Parameter calibration results in two methods

表1. 两种方法内参数标定结果

分别表示50次试验中焦距最大值、最小值; f C 表示张正友标定法中校准参数初始化后的焦距, f X f Y 分别表示优化后,通过两轴放大系数计算出的焦距,各焦距单位为mm。 ( u 0 v 0 ) 为两种实验方法中的主点坐标,单位为像素。

外部参数实验结果如表2,同样利用本文的标定方法进行50次实验。由于每幅棋盘网格图像对应的世界坐标系与摄像机坐标系相对位置均不同,为了方便比对外部参数的正确性,利用同一张棋盘网格图像,如图7,将本文标定法的世界坐标系设与张氏标定法的相同,世界坐标系原点即“田”字图案的左上角,则大正方形边长为480 mm × 480 mm,其中两条边分别与世界坐标系 X w 轴、 Y w 轴重合。表2中本文标定法实验数据为所得到50组外部参数的均值与张氏标定结果。

图8所示,利用本文标定方法完成相机标定后,对标定图像上平面点坐标进行实际测量。共设置四个被测点,各点实际坐标已知,实验结果如表3所示。实测数据为50组实验各点坐标均值。50组试验中,X轴方向上同点坐标差值最大为5.5645 mm,Y轴方向上同点坐标差值最大为5.3524 mm。

Table 2. External parameter calibration results of two methods

表2. 两种方法外参数标定结果

Table 3. Real coordinates and measurement coordinates

表3. 真实坐标与实测坐标

Figure 7. World coordinate system

图7. 世界坐标系示意

Figure 8. Actual measurement experiment

图8. 实际测量实验示意

5.2. 分析与讨论

张正友标定法可归于传统标定法范畴,精度很高,可以作为正确性的比较标准。与张氏标定法相比,焦距均值相对误差为6.7%~8.3%;外参数中平移向量相对误差为3.7%~8.2%,旋转矩阵数据和实测数据也十分接近,故该方法具有较好的准确性。通过50组实验的数据比较,表明该方法具有较好的稳定性。该方法只利用单张图像即可标定内外参数,标定过程较张正友标定法简便,有利于摄像机的自动标定和快速标定。标定所需图案简洁,制作简单,在摄像机视场内几何信息不足时方便设置。该方法中造成误差因素分析为,光线投射到成像平面上并不是严格意义上的直线;成像过程中存在畸变;人工提取特征点不如计算机提取精确。

6. 结语

本文设计了一种对“田”字标定图案获取单幅图像实现摄像机快速标定的方法。根据灭点的性质,以及摄像机坐标系与灭点、主点之间的关系求取摄像机内部参数、旋转矩阵。通过做世界坐标系原点投影点的辅助线段,求解平移向量。并在实验中对比了张正友标定方法来验证准确性,分析多组实验数据验证稳定性。实验表明,该方法精度较好,标定流程快速简便,标定物设置简单,满足视场内几何信息不足的现场摄像机在线标定需求。下一步工作主要内容是标定过程中加入畸变校正。

文章引用: 杨 麒 , 李天伟 , 唐露露 , 黄 谦 (2018) 一种利用单幅图像的现场摄像机自标定方法。 图像与信号处理, 7, 142-150. doi: 10.12677/JISP.2018.73017

参考文献

[1] Abdel-Aziz, Y.I. and Karara, H.M. (1971) Direct Linear Transformation into Object Space Coordinates in Close-Range Photogrammetry. Proceedings of Symposium on Close-Range Photogrammetry, Falls Church, VA, USA, 1-18.

[2] Tsai, R.Y. (1986) An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision. Proc CV PR’86, Miami Beach, Miami, USA, 22-26 June 1986, 364-374.

[3] Martins, H.A., Birk, J.R. and Kelley, R.B. (1981) Camera Models Based on Data from Two Calibration Planes. Computer Graphics and Imaging Processing, 17, 173-180.
https://doi.org/10.1016/0146-664X(81)90024-1

[4] Zhang, Z.Y. (2000) A Flexible New Technique for Camera Calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22, 1330-1334.
https://doi.org/10.1109/34.888718

[5] Ma, S.D. (1996) A Self-Calibration Technique for Active Vision System. IEEE Transactions on Robotics and Automation, 12, 114-120.
https://doi.org/10.1109/70.481755

[6] 于洪川, 吴福朝, 袁波, 韦穗. 基于主动视觉的摄像机自标定方法[J]. 机器人, 1999, 18(1): 1-10.

[7] 雷成, 吴福朝, 胡占义. 一种新的基于主动视觉系统的摄像机自标定方法[J]. 计算机学报, 2000, 23(11): 1130-1139.

[8] 朱嘉, 李醒飞, 徐颖欣. 摄像机的一种主动视觉标定法[J]. 光学学报, 2010, 30(5): 1297-1303.

[9] Meng, X.Q. and Hu, Z.Y. (2002) A New Camera Calibration Technique Based on Circular Points. Journal of Software, 13, 957-965.

[10] 全红艳, 张田文. 一新的利用模板进行摄像机自标定的方法[J]. 电子学报, 2005, 33(11): 1941-1945.

[11] 傅丹, 李立春, 徐一丹, 于起峰. 基于直线的射影不变性和极线约束标定摄像机参数[J]. 应用光学, 2008, 29(2): 192-197.

[12] 彭亚丽, 刘芳, 焦李成, 刘侍刚. 基于两对互相垂直平行线的自定标方法[J]. 光子学报, 2009, 38(1): 233-236.

[13] 严红平, 汪凌峰, 潘春洪. 高速公路动态环境下的摄像机自标定[J]. 计算机辅助设计与图形学学报, 2013, 25(7): 1036-1044.

[14] CipolIa, R., Drummond, T. and Roberston, D. (1999) Camera Calibration from Vanishing Points in Images of Architectural Scenes. In: Proceedings of the 10th British Machine Vision Conference Surrey, BMVA Press, University of Nottingham, Nottingham, England, Vol. 2, 38.1-38.10.

[15] Lv, F., Zhao, T. and Nevatia, R. (2006) Camera Calibration from Video of Walking Human. IEEE Transactions on Pattern Analysis and Machine Intelligence, 9, 1513-1518.

[16] 邾继贵, 于之靖. 视觉测量原理与方法[M]. 北京: 机械工业出版社, 2011: 15-17.

[17] 徐德, 谭民, 李原. 机器人视觉测量与控制[M]. 北京: 国防工业出版社, 2015: 40.

分享
Top