2月20日晚,上海交通大学闵行校区软件学院报告厅座无虚席,正在举办“腾讯大讲堂走进上海”活动。有十余年搜索引擎开发经验的腾讯SOSO(搜搜)业务线首席架构师 & 基础架构部总经理朱会灿,进行了一次主题分享:“搜索引擎的技术与功效演变史”,和到场者分享了他多年的开发经验,讲解了搜索引擎的起源和现状,和未来的发展趋势。


  搜搜首席架构师出马,自然引起了在校学生和行业内人士的极大关注,在大部分高校仍未开学,场地偏远并且活动当天下大雨等不利因素下,现场报名和现场签到人数仍高达数百人,活动之前的微博通知下,也收到了满满的“想看!求直播”的留言。


现场满座,观众很认真


搜索引擎的诞生与发展


  会灿老师曾是谷歌最资深的华人员工,对搜索引擎的前世今生非常熟悉,一开场就详细讲解了当年搜索引擎如何横空出世。1990年,雅虎开创了搜索引擎的雏形,那时只是把网页按照标签分类,方便用户查找。类似图书馆的分类模型。这种分类方法,也被借用在谷歌的pagerank技术中。94年雅虎开创了网页搜索,让搜索更加方便。98年,真正意义上的搜索引擎谷歌搜索引擎应时而生,横空出世了。今天,搜索引擎上的网页已经达到了千亿级别,每秒钟都在帮助用户更准确地大海捞针。



会灿老师正在讲解搜索引擎的诞生与发展。


  接着Huican老师给同学们介绍了搜索引擎的工作原理,其实搜索引擎并不神秘,一般为三步:Crawling,收集网页;Indexing:生成索引,每个索引对应着关键词等;Serving:把以上两步的信息,根据用户提供的要求,把匹配的选出,展示给客户。



开放性的Crawling和Serving,通过Indexing连接了起来,完成了搜索引擎的工作链。


  会灿老师特别强调:“以上原理说来简单,但不同算法,精准性上差很多。”为了尽可能优化出最好的结果给用户,把最有效的结果排在最前面给客户,一般的搜索引擎在结果排名上,都会综合采用三种技术:Pagerank(传统的分类技术,通过网页链接关系决定网页重要性),Click Model(通过用户的点击率决定网页的重要性)。


  同时他还提到,搜索结果和排名,还常常受限于网站的现状。搜索引擎无法每天更新所有的网页,这一般是受限于带宽和网站自身的能力。今天搜索引擎常会会根据网页改变的历史来判断是否需要刷新。尽可能地既刷新资源网页,又要节省运算成本。


搜索引擎并不会每天都更新所有网页。所以如何合理更新,是涉及到很多方面因素的,考验搜索引擎实力的问题。

关于搜索引擎面对问题和应对策略的讨论


  会上会灿老师还分享了搜索引擎目前面对的问题和相应的应对策略。随着搜索引擎的逐渐推广和普及,越来越多的用户和网站都同时发现了这块重要阵地。为了争取到第一页的排名,几乎从搜索引擎诞生起,作弊系统就一直在和搜索引擎玩猫鼠游戏。合格的搜索引擎必然有一套有效的反作弊系统,尽可能优化用户的搜索结果。会灿老师以soso为例,讲解了被称为“anti-SPAM”的反作弊系统系统,目前,搜索殷勤一般通过网页和link的点集合互联关系,来判断网页是有恶意作弊。



“anti-SPAM”反作弊系统:一般是用各种工具来识别欺骗性网页,这些年流行的是用link firm detection来识别欺骗链接。


如何开创新局面


  最后,会灿老师谈到今天互联网的现状:微博和SNS网站冲击了搜索引擎的很多流量;同时,手机端和PC端的分水岭大势已成,人工智能应用正在越来越多地被接入。面对这样的新局面,搜索引擎也要把握发展的新方向。会灿老师分析的新方向是:社区化,无线化,智能化。他认为腾讯能够比较好地把握住搜索引擎转型的这次契机,因为腾讯有庞大的社交网络Qzone和朋友网,能够提供丰富的SNS数据,同时腾讯也有丰富的无线服务,腾讯研究院在人工智能的研究也一直处于前沿水平。三管齐下,soso正在尽全力迎接新的挑战。



SNS给搜索引擎的一个巨大威胁就是:内容不公开,搜索引擎是拿不到的。但对同时有SNS网站的腾讯,搜索引擎却能力上加力地方便SNS用户更精确地找到朋友和圈子。


  一个多小时的分享里,现场气氛活跃,不断有听众举手提问。除了本地高校的学生,很多上海本地的IT同行也参加了这次活动。会灿老师言无不尽,一一作答,交流气氛良好。



一位现场的听众正在提问。这次活动吸引了很多专业人士,提出的问题都很有水平。在微博做线上解答的另一位soso工程师frank开玩笑说“简直像图灵奖的现场”。


  考虑到有根多用户无法亲临现场,为了尽可能的方便他们,这一次活动不仅有线上视频直播,还引入了微博线上答疑功能。Soso另外两位专家,frankjiao和rickzhuang,与腾讯大讲堂的同事紧密配合,通过微博上墙,不间断地回答来自微博和手机的关于搜索引擎的问题。线上提问气氛热烈,收到提问数十份,每位提问者至少得到一次解答,绝大部分提问者都表示满意。


  活动之后,腾讯大讲堂对线上和线下的用户做了一次问卷调查,大部分参与者人为活动效果理想,对soso和搜索引擎有了更好地了解,能和首席架构师面对面提问回答,大家表示体验很好。


  为了最大程度地方便不能到场的听众,活动结束之后,腾讯大讲堂还贴心地将PPT和视频放出,提供免费下载,也引来了线上下载的高潮。很多用户表示,这样的资源更方便自己有效的学习,很受益。希望腾讯以后多发放这样的资源。


(视频&PPT链接地址:http://djt.qq.com/article/view/145欢迎免费下载)


  在这里再次感谢会灿老师给大家带来这么有价值、有意义的分享!也感谢线上线下所有支持和参与活动的听众!下一站3月27日晚上19:00-21:00,地点华南理工大学音乐厅,由腾讯广州研究院助总、微信中心技术领头人周颢揭开目前最火爆的通信工具——微信背后的技术玄机,不容错过!我们广州见!