一种用于视频会议的眼神交互方法及系统

本发明提供一种用于视频会议的眼神交互方法及系统，该方法包括：步骤100，通过彩色摄像机获取彩色图像，通过深度摄像机获取与所述彩色图像对齐后的深度图像；步骤200，对所述彩色图像和深度图像进行前期处理，获得虚拟坐标系下的三维信息，并将其投影到虚拟摄像机平面获得眼神矫正的图像；步骤300，对所述眼神矫正的图像进行中值滤波，获得眼神直视的图像。本发明操作方便、实时性高，对参与视频会议的人员的不同位置具有自适应性，实现简单，能增强参与视频会议的沉浸感。

1.一种用于视频会议的眼神交互方法，其特征在于，包括：步骤1，通过彩色摄像机获取彩色图像，通过深度摄像机获取与所述彩色图像对齐后的深度图像，其中所述彩色摄像机的摄像头与所述深度摄像机的摄像头的平面平行于屏幕平面；步骤2，对所述彩色图像和深度图像进行前期处理，获得虚拟坐标系下的三维信息，并将其投影到虚拟摄像机平面获得眼神矫正的图像，所述步骤2包括步骤21，对所述彩色图像进行前景提取，获得前景的彩色图像；同时对应的将所述与彩色图像对齐的深度图像的非前景区域设置为零，并对其进行深度图像预处理，所述深度图像预处理包括步骤221，将误判为前景区域的深度值设置为零，并将像素深度符合规定的深度值设置为背景区域；步骤222，所述前景区域的深度值为零的区域进行最近邻补全，获得与所述前景的彩色图像对齐的深度图像；步骤22，利用所述彩色图像对彩色摄像机进行一次参数标定，获取彩色摄像机内参数；步骤23，设定虚拟坐标系，对所述前景的彩色图像提取眼睛的位置特征，并通过所述位置特征计算眼睛距离彩色摄像头的水平和垂直偏移量，根据所述水平和垂直偏移量得到虚拟摄像机外参数；步骤24，根据所述彩色摄像机内参数与所述前景的彩色图像对齐的深度图像，获得前景区域三维信息；步骤25，利用所述前景区域三维信息和所述虚拟摄像机外参数，获得虚拟坐标系下的三维信息；步骤26，利用所述彩色摄像机内参数将所述虚拟坐标系下的三维信息投影到虚拟摄像机平面获得眼神矫正的图像；步骤3，对所述眼神矫正的图像进行中值滤波，获得眼神直视的图像。
2.如权利要求1所述的眼神交互方法，其特征在于，所述步骤23包括：步骤231，设置一只眼睛平行凝视所述彩色摄像头平面的点为虚拟坐标系原点；步骤232，通过寻找所述彩色图像中该只眼睛的位置特征和对应的深度信息确定眼睛距离彩色摄像头的水平和垂直位移；步骤233，根据所述水平和垂直位移得到彩色摄像头仰视的角度和平移的角度；步骤234，利用所述仰视和平移角度将所述虚拟坐标系进行垂直和水平方向的角度旋转。
3.一种用于视频会议的眼神交互系统，其特征在于，包括：图像获取模块，通过彩色摄像机获取彩色图像，通过深度摄像机获取与所述彩色图像对齐后的深度图像，其中所述彩色摄像机的摄像头与所述深度摄像机的摄像头的平面平行于屏幕平面；图像处理模块，对所述彩色图像和深度图像进行前期处理，获得虚拟坐标系下的三维信息，并将其投影到虚拟摄像机平面获得眼神矫正的图像，其中所述图像处理模块包括预处理模块，对所述彩色图像进行前景提取，获得前景的彩色图像；同时对应的将所述与彩色图像对齐的深度图像的非前景区域设置为零，并对其进行深度图像预处理；参数标定模块，利用所述彩色图像对彩色摄像机进行一次参数标定，获取彩色摄像机内参数；虚拟处理模块，设定虚拟坐标系，对所述前景的彩色图像提取眼睛的位置特征，并通过所述位置特征计算眼睛距离彩色摄像头的水平和垂直偏移量，根据所述水平和垂直偏移量得到虚拟摄像机外参数；前景三维信息获取模块，根据所述彩色摄像机内参数与所述前景的彩色图像对齐的深度图像，获得前景区域三维信息；虚拟三维信息获取模块，利用所述前景区域三维信息和所述虚拟摄像机外参数，获得虚拟坐标系下的三维信息；投影矫正模块，利用所述彩色摄像机内参数将所述虚拟坐标系下的三维信息投影到虚拟摄像机平面获得眼神矫正的图像；所述预处理模块包括：设置模块，将误判为前景区域的深度值设置为零，并将像素深度符合规定的深度值设置为背景区域；最近邻补全模块，所述前景区域的深度值为零的区域进行最近邻补全，获得与所述前景的彩色图像对齐的深度图像眼神交互图像获取模块，对所述眼神矫正的图像进行中值滤波，获得眼神直视的图像。
4.如权利要求3所述的眼神交互系统，其特征在于，所述虚拟处理模块包括：虚拟坐标原点设置模块，设置一只眼睛平行凝视所述彩色摄像头平面的点为虚拟坐标系原点；距离确定模块，通过寻找所述彩色图像中该只眼睛的位置特征和对应的深度信息确定眼睛距离彩色摄像头的水平和垂直位移；角度计算模块，根据所述水平和垂直位移计算得到彩色摄像头仰视的角度和平移的角度；虚拟坐标系设置模块，利用所述仰视和平移角度将彩色摄像头进行垂直方向和水平方向的旋转得到虚拟坐标系。