Multi-level structured hybrid forest for joint head detection and pose estimation

 基于多层结构混合森林的级联头部检测和姿态估计

  成果信息

        o Yuanyuan Liu, Zhong Xie, Xiaohui Yuan, Jingying Chen, Wu Song. “Multi-level Structured Hybrid Forest for Joint Head Detection and Pose Estimation”. Neurocomputing, 266(11), 206-215 2017.

        o http://dx.doi.org/10.1016/j.neucom.2017.05.033

    This work was supported by the National Natural Science Foundation of China (Nos. 61602429 and 61401188 ), China Postdoctoral Science Foundation (No. 2016M592406 ), and Research Funds of CUG from the Colleges Basic Research and Operation of MOE (No. 26420160055 ).

 团队成员

· 刘袁缘，讲师，中国地质大学（武汉），我院

· 谢 忠，教授，中国地质大学（武汉），我院

· 袁晓辉，教授，中国地质大学（武汉），我院，University of North Texas，Denton， TX， USA

· 陈靓影，教授，华中师范大学国家数字化学习工程中心

· 宋 武，博士，华中师范大学国家数字化学习工程中心

  成果介绍

 在实际应用中，头部检测和姿势估计受到光照变化、遮挡以及图片质量等的影响而具有很大挑战。本文提出了一种多层结构混合森林（Multi-level structured hybrid forest, MSHF）的方法级联进行头部检测和姿势估计，如图1所示。该方法通过引入多层分裂函数和复合结构特征来扩展分类回归森林混合框架。多层分裂函数用来在MSHF的不同层上构建回归树；而复合结构特征从随机选择的图像子块（头部区域或背景）中提取复合的图像纹理和几何特征。

图1基于MSHF的级联头部检测和姿态估计

MSHF方法进行头部检测和姿势估计的步骤如下：

(1)提取Multi-structured features

输入图片，随机选择图片块，提取每个图像块的复合结构特征：相关纹理特征和几何距离图。其中复合结构特征分别是灰度值、Sobel边缘特征（水平和垂直方向）、HOG特征；几何距离特征图即图片块中心到头部轮廓的最近边界（距离为负表示该块在头部区域外边，距离为正表示该块在头部区域内部）。

图2复合结构特征

(2)回归头部轮廓

通过随机森林训练复合结构森林，构建头部轮廓回归子森林，对图像特征子块首先进行头部块分类，获得人脸区域的图像子块，再通过mean-shift聚类得到头部轮廓点，得到头部轮廓 。混合森林的叶子节点为多概率模型，包括图像子块的分类概率，头部轮廓的偏移距离和头部姿态分类概率，如图3。

图3 MSHF

(3)两个自由度下的头部姿态估计

根据头部轮廓进行头部姿势多分类，采用由粗到细的分层策略（L1-L4层），先估计水平姿态，在水平姿态的条件下，再估计竖直头部姿态，获得25个（yaw5类*pitch5类）头部姿势类。最后，对分类的25个姿势类进行加权邻域回归聚合（L5层）计算头部姿势角度。

图4分层的头部姿态估计

 结果：与最先进方法相比，MSHF改善了性能和鲁棒性，头部轮廓平均精度90%，姿态估计在两个自由度下的平均角误差6.6°，进行头部检测和姿态估计的平均时间约为0.44秒。

图5 级联头部检测和姿态估计结果