作者:carlos
 

创意点的产品功能/使用场景介绍(what/where)


  在腾讯视频中的搜索结果, 或是网页播放器的预览图, 避免使用全黑, 全白或是单色的图像。

  相信大家都有看视频吧?


  如果你是只看最热最火的视频, 一般来说都会在首页出现, 然后点个图片就可以看了。但是一个月前的呢? 一年前的呢? 估计也得要用搜索来找找啊。
 
  搜索结果, 万变不离其中的, 都是视频标题, 配个截图, 还有其他信息。例如这样:

图一:搜索結果

然后

图二:不解释

  那个黑屏截图, 不管内容如何, 都很难引起用户点击观看吧? 尤其是被那些嚇人视频整过的, 碰都不会碰!


创新点的创新之处的具体描述 (innovation)


  如果一些优质的内容因为这种原因而没有被观看, 那实在是太可惜了, 所以在实际的网页, 编辑同学们会发挥无限的创意, 配个亮点图, 再给个有内涵的标题, 但这毕竟要人工操作, 也只能在首页和专辑中进行。 在海量的视频库中, 绝大部份都要以自动方式处理, 例如在用户搜索页面, 或是相关推荐的结果, 都不可能一一以人工配图。

  腾讯视频早前使用固定时间點截图, 部分截图会出现黑屏, 白屏, 太暗, 太亮等问题, 为提高截图的质量, 我们进行了截图优化工作, 创新点如下:


1.       不会截到黑屏, 白屏或是单色的图片。


2.       截取内容较丰富的图片。


3.       为了适合网页显示, 截图会进行自动增强, 会在合理范围内变得更明亮和鲜艳。


4.       对肤色做特殊处理, 令增强后的人物肤色产生太大偏差。

  竞品方面, 也会有一些黑屏白屏截图的情况, 估计都是由於使用固定时间點截图导致的, 对于怎样选图, 由于每家的考虑点都有可能有所不同, 所以也较难一一比较。
 
效果对比


  这里以电影《魔境仙踪》预告片作例子, 比较新旧截图的效果。


视频url: http://v.qq.com/page/k/0/L/k0010aW1jNL.html?start=0

1.       智能截图选取


  下图中上列是现时以固定时间点截图, 下列是以新方法截图, 效果明显。

图三: 新旧截图比较图

2. 截图优化

  下图中上列是现未经优化的截图, 下列经过对比度, 饱和度增强和肤色处理的截图。 明显较明亮, 颜色较鲜艳, 人物肤色没有明显改变。

图四: 优化前后对比图


创意如何产生的(创新点相关小故事)(why)


  在线视频竞争激烈, 其中一个主要技术点在于编码速度, 所以一个近的特性总不能把编码流拖得太长, 我们要使用一些快速的算法, 在大概10秒内, 在任何一个视频文件截出整套15张的截图。 所以暂时不使用高端的, 例如人脸识别, 或其他模式识别算法。 考虑各种因素后, 我们决定基于直方图比较来做我们的智能截图算法。

怎么实现的(how)

智能截图选取


1.       优化算法会按原有的时间点作为基准点, 搜索基准点后的一般时间, 找出最合适的截图, 下图显示选取的流程。

图五: 截图流程

2.       分析每一帧时, 会以亮度的直方图的分散性作评分, 这里会与一个指定值的直方图进行匹配, 重叠度越高评分越高, 最后会选取评分最高的一帧。 这是基于一个现像, 越分散的, 一般来说画面内容会越丰富。 若要评估直方图是属于集中还是分散, 可以与以下直方图比对重叠的部份, 重叠面积越大评分越高, 而很暗与很亮的区域不考虑。

图六: 局部定值直方图

  下图的例子是个几乎全黑截图, 亮度直方图全集中在小范围的值上, 与图四的直方图没有重叠。

 

  下图是个内容丰富的截图, 亮度直方图比较分散, 与图四的直方图重叠较多。

自动图像优化


1.       因视频一般都是使用YUV颜色空间, 所以图像优化的操作也是在YUV空间进行。


2.       自动GAMMA处理: 会先按亮度数据的中位数, 算出GAMMA值, 然后进行处理, 为避免过度GAMMA值只会在0.75 – 1.25 之间。


3.       对比度增强: 以亮度平均值为中心点, 按增强系数对Y值进行处理, 现时使用1.7。

4.       饱和度增强: 以128为中心点, 按增强系数对UV值进行处理, 现时使用1.6。

5.       避免偏色: UV值接近128时, 不做饱和度增强。


6.       肤色处理: UV值在一个范围内, 调低饱和度增强的系数, 能避免人物肤色被饱和度增强影响, 亦能避免一些发黄的情况。下图椭圆形为调低增强系数范围, 圆形内为不做饱和度增强范围。

图九: Y值为128的UV颜色平面

 

  下表列出两个例子, 现示上文中每个技术对图像的影响:

 

产品的意义对未来的展望for future

  现时智能截图优化已能实现按图像的特性选取合适的截图, 有效避免截到黑屏, 白屏的情况, 亦能对截图进行优化, 以适合在网页中显示, 让用户看到更吸引的内容。 期望本技术能对搜索页面或是相关推荐的播放起正面的作用。