基于深度传感器的在线视频分割后的处理方法及系统

本发明公开了一种基于深度传感器的在线视频分割后的处理方法及系统，该方法包括：步骤1，深度传感器基于视频帧和其对应的深度图像提取特征，对所述特征进行视频帧前景、背景分割，得到二值图像；步骤2，对该二值分割图像中的前景孔洞进行检测和填充，得到前景孔洞填充后的二值图像；步骤3，对该前景孔洞填充后的二值图像进行边界优化，获取优化后的二值图像；步骤4，将该优化后的二值图像融合虚拟背景和所述视频帧，生成虚实融合图像。本发明解决了基于深度传感器的在线视频分割在深度非连续处容易出错和现有技术在准确度和实时性上存在顾此失彼的问题，提供了一种满足实时性要求的高质量的基于深度传感器的在线视频分割后处理方法和虚实融合系统。

1.一种基于深度传感器的在线视频分割后的处理方法，其特征在于，包括：步骤1，深度传感器基于视频帧和其对应的深度图像提取特征，对所述特征进行视频帧前景、背景分割，得到二值图像；步骤2，对该二值图像中的前景孔洞进行检测和填充，得到前景孔洞填充的二值图像；步骤3，对该前景孔洞填充的二值图像进行边界优化，获取优化后的二值图像，其中所述步骤3包括：步骤301，获取所述前景孔洞填充的二值图像的前景、背景边界过渡区域；步骤302，计算所述边界过渡区域中每个像素的局部alpha值，其中alpha值用于反映前景和背景的合成情况，alpha值取0到1之间的连续值，alpha值越趋近于0表示像素与背景越相似，alpha值越趋近于1表示像素与前景越相似；步骤303，计算所述边界过渡区域中每个像素相对前两帧的运动概率；步骤304，以运动概率为权值，计算所述边界过渡区域每个像素的时序分割结果和局部alpha值的加权和，得到混合alpha值；步骤305，判断所述混合alpha值是否大于给定的阈值T^f，大于时，将所述前景孔洞填充的二值图像上对应位置的像素置为1，表示该像素为前景；否则将所述前景孔洞填充的二值图像上对应位置的像素置为0，表示该像素为背景；步骤306，得到边界优化后的二值图像；步骤4，根据该优化后的二值图像融合虚拟背景和所述视频帧，生成虚实融合图像。
2.如权利要求1所述的在线视频分割后的处理方法，其特征在于，所述步骤2包括：步骤201，对所述二值图像进行轮廓检测，记轮廓个数为Num，初始化轮廓计数器n＝1；步骤202，判断n是否小于等于所述轮廓个数Num，当n小于等于所述轮廓个数Num时，执行步骤203；否则执行步骤3；步骤203，对第n个轮廓的内部包含区域进行标记，并记该轮廓及其内部包含区域为一个孔洞；步骤204，统计所述孔洞的区域对应位置的非零深度像素的个数；步骤205，判断所述个数是否为零，非零时执行步骤206，否则执行步骤211；步骤206，计算孔洞轮廓边缘及其权重；步骤207，计算孔洞区域背景相似度及其权重；步骤208，对所述孔洞轮廓边缘及其权重、所述孔洞区域背景相似度及其权重进行加权计算，得到孔洞背景相似度；步骤209，判断所述孔洞背景相似度是否小于给定的阈值T^b，小于时，执行步骤210，否则执行步骤211；步骤210，在所述孔洞进行前景填充得到前景孔洞填充的二值图像；步骤211，对轮廓计数器n执行加一操作，并返回步骤202。
3.如权利要求2所述的在线视频分割后的处理方法，其特征在于，所述步骤209中的阈值T^b为0.3。
4.如权利要求1所述的在线视频分割后的处理方法，其特征在于，所述步骤305中阈值T^f为0.5。
5.一种基于深度传感器的在线视频分割后的处理系统，其特征在于，包括：在线视频前、背景分割模块，基于视频帧和其对应的深度图像提取特征，对所述特征进行视频帧前景、背景分割得到二值图像；检查填充模块，用于对该二值图像中的前景孔洞进行检测和填充得到前景孔洞填充后的二值图像；优化处理模块，用于对该前景孔洞填充后的二值图像进行边界优化，获取优化后的二值图像，其中所述优化处理模块包括获取模块、第二计算模块、前、背景判断模块、二值图像获得模块：所述获取模块，用于获取所述前景孔洞填充的二值图像的前景、背景边界过渡区域；所述第二计算模块，用于计算所述边界过渡区域中每个像素的局部alpha值、所述边界过渡区域中每个像素相对前两帧的运动概率，并以运动概率为权值，计算所述边界过渡区域每个像素的时序分割结果和局部alpha值的加权和，得到混合alpha值，其中alpha值用于反映前景和背景的合成情况，alpha值取0到1之间的连续值，alpha值越趋近于0表示像素与背景越相似，alpha值越趋近于1表示像素与前景越相似；所述前、背景判断模块，用于判断所述混合alpha值是否大于给定的阈值T^f，大于时，将所述前景孔洞填充的二值图像上对应位置的像素值置为1，表示该像素为前景；否则将所述前景孔洞填充的二值图像上对应位置的像素值置为0，表示该像素为背景；所述二值图像获得模块，用于根据所述前景和背景得到边界优化后的二值图像；虚实融合模块，用于根据所述优化后的二值图像融合虚拟背景和所述视频帧，生成虚实融合合成视频。
6.如权利要求5所述的在线视频分割后的处理系统，其特征在于，所述检查填充模块包括：轮廓检测模块，用于对所述二值图像进行轮廓检测，记轮廓个数为Num，初始化轮廓计数器n＝1；第一判断模块，用于判断第n个轮廓的轮廓个数是否小于等于所述轮廓个数Num，当n小于等于所述轮廓个数Num时，执行孔洞标记模块，否则执行优化处理模块；孔洞标记模块，用于对所述第n个轮廓的内部包含区域进行标记，并记该轮廓及其内部包含区域为一个孔洞；统计模块，用于统计所述孔洞的区域对应位置的非零深度像素的个数；第二判断模块，用于判断个数是否为零，非零时执行第一计算模块，否则执行加一模块；所述第一计算模块，用于计算孔洞轮廓边缘及其权重、计算孔洞区域背景相似度及其权重，并利用所述孔洞轮廓边缘及其权重、所述孔洞区域背景相似度及其权重进行加权计算，得到孔洞背景相似度；第三判断模块，用于判断所述孔洞背景相似度是否小于给定的阈值T^b，若小于，则进入填充模块，否则进入加一模块；填充模块，对所述孔洞进行前景填充得到前景孔洞填充后的二值图像；加一模块，用于对轮廓计数器n执行加一操作，并返回第一判断模块。
7.如权利要求6所述的在线视频分割后的处理系统，其特征在于，所述第三判断模块中的阈值T^b为0.3。
8.如权利要求5所述的在线视频分割后的处理系统，其特征在于，所述前、背景判断模块中阈值T^f为0.5。