【创新点】

1. 第一款在网页上通过人像分类管理用户照片的产品

2. 标记人物建立人物分类后,会智能推荐其他相似照片到该分类

3. 为了解决人脸相似识别率不高的问题,通过用户的确认操作大幅提升识别率,且随着用户标注和确认越多,准确率越来越高。

 

【创意来源】

       Qzone相册现在已是国内第一大网络相册,每天会有几亿张图片被上传到Qzone,随着用户上传照片数的增多,对这批照片的管理需求也就越来越多,用户会反馈如下一些问题:

Ÿ   想找之前曾上传到空间,和某个朋友或是自己的一些照片,却苦于相册照片太多,网络也比较差,找起来很麻烦

Ÿ   想知道含有自己的哪些照片被上传到空间了,经常发现自己很丑的照片被上传上去,很不开心

Ÿ   刚加了某个QQ好友,进到她QQ空间,浏览每个相册,但是只对包含她的照片感兴趣

面对如此多的用户反馈,我们不禁想,如果能够提供给用户一个按照人物分类的相册,是不是这些问题就能解决了呢?当我希望找到某人照片时,直接进入该人物的分类相册查看即可。在人像技术上,优图团队也有很多积累,经过几个月的技术攻关,在深圳相册团队和上海优图团队合作下,人像管理相册Alpha版本终于上线了。

 

【技术实现】

      整个人像管理相册系统如下图所示,主要包括输入、离线计算、在线计算、人像数据库、Web前端五个部分,离线计算主要是对于大量的图片进行预处理,包括人脸检测,人脸归一化,特征提取,相似度图构建等。在线计算时,只要对输入人脸图像进行预处理,然后与人脸相似度图进行比对计算,就可以得到系统的识别和推荐结果。

 

  为了实现这个系统,有几个技术关键点必须解决:

1.     人脸检测的准确率:通过人工标注上万张不同人脸图片为样本级,提高检测准确率;

2.     相似人脸识别的准确率:在人脸识别研究基础上,通过引入用户确认的方法提高人脸识别准确度

3.     离线计算与在线推荐分离:为了解决计算量过大的问题导致在线标注体验慢的问题,通过后台的离线计算和在线推荐相结合的策略。

 

第一,提高人脸检测的召回率和准确率

  人脸检测是所有人脸应用的基础,它的召回率和检测率对应用的整体效果有着至关重要的影响。但当前非商用的人脸检测器的准确率和召回率都很一般,为了得到一个可靠的人脸检测器,我们从头实现了基于Adaboost训练方式的人脸检测训练器。为了保证最好的训练效果,我们人工标注了3万张人脸图像,准备了5万多张不含人脸的背景图片,并对程序做了充分的多线程处理,利用公司的计算服务器训练出了一个非常鲁棒、性能强劲的人脸检测器,超过了目前已知的所有国内竞品,为人脸应用尤其是人脸标注奠定了坚实的基础。

 

       第二,如何利用人脸识别的技术服务于人脸标注

  人脸识别是一个世界性的难题,当前已有的技术并不能很好的用于人脸的自动标注,而非简单的 自动人脸聚类效果也不是很好。但人脸识别中使用的基于人脸特征的人脸相似度还是一个很有用的信息,如何利用这一信息,并结合到人脸标注中去,就成了一个比较重要的问题。

  我们利用人脸识别技术,结合用户的反馈,打造了一个半监督的标注系统。初始时,所有人脸都在待标定人脸集合中,用户可以通过手动标注将其中的人脸移到已确认人脸集合,等已确认人脸集合非空后,系统就可以以该集合为人脸库,非确定的人脸作为query做检索,并把检索结果作为推荐的依据。为了尽可能地降低用户的交互,我们对置信度很高的推荐人脸直接标记为已确认,而对于置信度较低的人脸,再交给用户做确认。随着人脸库的增大,系统推荐的精度也会越来越高。

 

 

第三,离线与在线的分离

  人脸标注的核心是人脸特征和相似度的计算,而这两步都是计算密集型的,标注和推荐算法本身的复杂度并不是很高。为了让用户在标注时有良好的体验,我们必须保证标注系统的实时性。所以我们在系统设计时,将计算密集的部分全部移除到了离线部分,在标注使用前,离线部分生成标注所需的数据,在线标注时只要同步数据即可。另外,离线部分也很好地支持了增量人脸的特征计算。

【创意无止境】

  现在推出人物管理相册只是我们人像技术应用的第一步,之后结合空间相册的社交属性,会有更多好玩的事情发生,初步设想了以下几个场景:

  第一,与现有圈人功能结合:你或者你的好友在浏览照片时,圈出了照片里的某个人,那么他操作的这个人也会在你的相册中归类到相应人物分类中,把原本属于自己要进行的管理操作,变成人人为我我为人人的协同操作,在玩“圈人”这个功能的时候,就产生了人像管理相册,大大降低用户人像管理的成本;

  第二,当个人的人像数据库积累的足够多的时候,当你上传一批照片时,可以智能的提醒照片中的好友来你的相册围观,再也无需手动输入@

  第三,也许真有那么一天,科幻故事中场景就会出现了,你碰到一个美女,偷偷拍一张照片,这个时候,想通过QQ向她Say hi了也就成为了可能

  相信过不了多久,人脸技术和Qzone社交平台关系链的结合,会创造出下一个大的引爆点,欲知后事如何,敬请期待人脸技术在空间相册下一个创意的实现!