VIPL实验室提出遥测式人脸心率估计新方法 具有创新性

近日，中国科学院计算技术研究所视觉信息处理与学习研究组（VIPL实验室）关于遥测式人脸心率估计的工作"RhythmNet: End-to-end Heart Rate Estimation from Face via Spatial-temporal Representation" 入选国际核心学术刊物IEEE TIP。遥测式人脸心率估计，远距离无感式测量，不需要直接与人体接触，通过人脸识别即可得出心率数，可用于医疗、公共安全、健康管理等领域。

IEEE TIP，全称是IEEE Transactions on Image Processing，是Q1区期刊，属于中国计算机学会认可的计算机图形学与多媒体领域A类期刊，2019年SCI影响因子为6.79。IEEE TIP侧重图像处理的前沿理论与方法，入选论文都必须具有非常强的创新性。

前期，VIPL实验室基于人脸的遥测式心率估计工作"Robust Remote Heart Rate Estimation from Face Utilizing Spatial-temporal Attention"（ 作者：Xuesong Niu+, Xingyuan Zhao+, Hu Han, Abhijit Das, Antitza Dantcheva, Shiguang Shan, and Xilin Chen）在5月便已初露头角，荣获人脸与手势识别方向最有影响力的IEEE FG 2019最佳海报论文奖。

以下是入选论文详解：

心率是人体最基础的一种生理信号之一，能反映人的身体健康状况甚至情绪状态。传统的心率测量通常依赖于接触式的传感器，比如较为精准的心电图以及便携式的指夹式心率仪等，这些方法心率估计的精度通常较好，但同时因为需要接触人体皮肤，限制了其使用的便利性。

本文研究了基于rPPG原理的遥测式人脸视频心率估计方法RhythmNet。人脸视频中心率的视觉信号极其微弱，现有的端到端深度学习模型如CNN很难直接从原始人脸视频中学到真正与心率相关的特征表示，为此，我们提出了利用人脸视频时空上下文信息，先构建底层时空图（spatial-temporal map）将心率的视觉特征信号与大量背景信号有效地分离开来，进而通过CNN-RNN时空联合建模的方法，从时空图中进一步学习心率相关的高层特征表示，最终实现鲁棒的遥测式人脸视频心率估计。我们提出的RhythmNet方法，在业界多个公开数据库上都取得了最好的结果，并系统性地测试了方法在不同颜色空间、不同视频压缩率、不同光照环境以及不同模态（RGB vs. NIR）等条件下的稳定性。

RhythmNet人脸心率估计算法框架

此外，考虑到遥测式人脸视频心率估计领域公开的数据库较少，规模不大，采集场景单一等局限性，我们构建了包含头部运动、光照变化和不同传感器等多种变化的较大规模多模态人脸视频心率估计数据库VIPL-HR，并向业界公开供学术研究使用。

关于VIPL研究组

VIPL研究组隶属于中国科学院计算所及中科院智能信息处理重点实验室，同时也是先进人机通信技术联合实验室（JDL）的一部分。目前，VIPL研究组主要成员包括研究人员20余名、博士/硕士研究生50余名。研究组在相关领域发表研究论文500余篇，其中100余篇发表在计算机学会认定的领域A类国际期刊或会议上。研究成果获2015年度国家自然科学二等奖，2005年度国家科技进步二等奖等。

关于中科视拓

中科视拓（北京）科技有限公司是一家来自中国科学院计算技术研究所的人工智能基础设施服务商，核心团队来自国家万人计划领军人才山世光研究员和国家自然科学基金委杰出青年基金获得者陈熙霖研究员共同领导的中科院计算所智能信息处理重点实验室和中国科学院计算技术研究所视觉信息处理与学习（VIPL）研究组。中科视拓凭借在人脸识别与通用计算机视觉技术方面20多年的深厚积累，以"开源赋能共发展"的思路，打造AI视觉全栈能力—SeetaFace人脸识别与感知计算解决方案、AI算法调用平台—SeeTaaS自主可控人工智能生产平台和AI服务与计算中心—中科视拓云智中心三大产品线，致力于为政府、教育、制造、金融和零售等国民经济主战场行业提供一站式人工智能基础设施服务。

关于遥测

遥测（英文名称：telemetering）是将对象参量的近距离测量值传输至远距离的测量站来实现远距离测量的技术。遥测技术是一个集成性能好的，具有良好的跟踪性能、遥控性能的一种新型的技术，其应用很广泛。