1、创新特性

    微信图像开放平台免费为第三方应用提供图像识别技术,使应用具备移动搜索的能力。

2、主创团队名

      微信产品部/模式识别中心

3、创意点的产品功能/使用场景介绍

       图像开放平台是微信面向广大第三方开发者推出的开放图像识别能力的开发者平台。通过此平台,第三方开发者可以把微信图像识别的能力集成到自己的应用中,通过集成图像开放平台SDK,使得应用具备识别移动视觉搜索的功能。应用可将图像识别请求发送到云端服务器并获取识别结果,可识别海报、广告、杂志、报纸上的图片和内容,并可提供更多的延伸阅读内容,可引导受众进行购买、深度阅读、参与互动、点评分享等互动。

       以一款报纸杂志延伸阅读的应用为例,受众在阅读报纸杂志等纸媒的时候,可以通过手机摄像头拍摄其中感兴趣的图片,即刻可在手机上获得相关视频、相关新闻、商品购买链接等延伸内容。使得纸媒和多媒体无缝衔接,制造了更多的商业机会,并提升了阅读报纸的体验和趣味性。

 

4、创新点的创新之处的具体描述

       国内首个移动视觉搜索的开放平台,开发者可以借助此平台,在自己的移动应用中引入手机摄像头视觉搜索的功能,开发者应用需要识别的图片库可在平台云端自行定制和管理。该技术克服了二维码使用中不直观、安全性受诟病的局限性,用摄像头拍图代替扫二维码,更直观快捷方便。国内首创,暂无竞品。

      技术上采用独特创新算法,使用微信图像识别技术的应用开发者可以实时动态的管理图片检索库。

      目前在微信扫一扫功能中已体现了图像识别的能力,用户可以使用微信扫一扫识别图书封面、电影海报,即刻就能获得图书、电影的详情介绍、购买链接等延伸内容。

 

5、创意如何产生的

       近几年随着移动互联网技术的不断发展,智能手机的普及及云计算的成熟,在智能终端中,摄像头和话筒逐渐成为更自然的人机交互方式。以手机摄像头为入口的移动视觉搜索技术也逐渐成为热点。用户可以将手机拍摄的图片上传到云端的视觉识别服务器并获得识别结果。只需短短数秒,用户即可获取周边场景中的信息,比如广告、海报、报刊杂志上的图片的延伸内容和服务。目前流行的在我们周边广告牌上、商品包装上、网页上出现频率很高的二维码虽然有着信息量大、识别率高、制作简单等优点,同时也有着单调不美观、安全性差的弊端。使用图片搜索可以实现即搜即得,直观便捷,更具趣味性。

       微信模式识别团队在图像识别领域有多年的积累和沉淀,技术研发实力上达到了国内顶尖水平,腾讯内部的多款应用上均使用了我们的图像识别技术。微信5.0中加入的扫一扫功能就是图像识别技术的落地和体现,用户可以通过微信扫一扫很方便的识别书籍封面、电影海报并获取相信信息、购买链接、用户点评等更多的延伸内容。

      现在我们把这种图像识别能力开放给第三方开发者,让广大第三方应用都可以使用微信图像识别技术进行应用体验的扩展和提升,后续可持续开放更多图像识别技术,比如人脸识别、物体识别。


6、怎么实现的

  • 系统架构

       开发者要使用微信图像开放平台,首先要在开放平台网站注册开发者信息,获取密钥,作为请求  图像识别服务凭据。开发者利用微信图像开放平台提供的Android/iOS SDK,向云端服务器发送识别请求,从而在开发者的APP中实现图像识别功能。

  

  • 图像识别引擎

       在图像检索领域,比较常用的技术是提取局部特征(如SIFT,SURF等),量化,建倒排表的架构,微信扫一扫中的封面识别就是采用这种技术。然而在图像云平台服务中,基于局部特征的的图像检索技术存在种种弊端。首先,在图像云平台服务中,每个开发者的图片数据都是相互独立的,若对所有开发者只建一个倒排表,每次开发者修改数据库时都会影响到所有开发者。若为每个开发者建立独享的倒排表,则会对资源造成巨大的浪费。其次,采用倒排结构时,开发者修改图像数据时(如增、删图片),都需要对整个倒排表进行重建。

       在图像识别云平台中,微信图像技术组采用了基于全局特征的图像检索方法,通过SIFT+Fisher  Vector得到一幅图像的全局描述子,然后通过量化,将全局描述子量化为低比特的码流,每幅图像对应一个图像识别指纹,在微信图像云平台服务中,已无需构建倒排表,开发者增、删图像时,后台只需在数据库对应的增加、删除指纹即可。对开发者的增删操作可以做出实时的响应。识别过程时,只需比对开发者数据库中的指纹即可。

       在识别效果上,通过对多个数据集测试,检索效果上均与基于倒排表结构的图像检索技术相当,甚至某些数据集上优于基于倒排表结构的技术。

微信图像技术组与北京大学、新加坡南洋理工大学有密切合作,走在图像检索技术最前沿,努力为用户提供最优秀的图像识别技术。

  • 开放平台服务端

      微信图像开放平台提供开发SDK,SDK封装了与识别引擎服务器交互细节,开发者将图像请求发送到云端服务器,从服务器获取识别结果。图像识别细节对开发者是透明的,提高了SDK的易用性。

 

展示:

      

7、产品的意义对未来的展望

      未来图像开放平台可融合更多的图像识别技术,还包括增强现实功能,让应用有能力在手机屏幕上提供更多的延伸阅读内容和互动特性,会极大的丰富应用的体验,呈现更多酷炫的效果。

改造传统纸媒行业。使读者在读传统报刊通过手机轻松获更多的不仅仅是物理报纸的内容,延伸了纸质媒体的内容,创造了更多的商业空间。使纸媒体轻松变成多媒体,受众读传统报刊的体验变得更酷炫。只要拍摄报刊杂志上的可识别区域,即可链接至相关图片、视频、微博、在线购买等延伸内容,也可进行收藏、评分、互动、分享等动作。

      可使得广告商与受众之间的互动更加紧密和富有趣味。可让广告变得更吸引客户,取得更好的传播效果,也可更精确的收集受众的信息,让受众和广告有更多的交互。可在手机上获得广告的相关链接、视频。将平面物料与数字资源衔接,跨越版面的局限性,是受众在浏览广告的同时,获得音乐、视频、参与互动、留言点评、在线购买、获取优惠券,等一系列体验。

      对于电商的机会。通过图像识别技术,可以使用户通过图片找到想买的商品,这个商品可能是在街上用手机即时拍到的,或者是在网上或社交网络上看到的一张图片。

      后续我们即将为广大第三方应用提供更多开放性的可扩展的图像识别能力。