搜索引擎的大数据时代.pptx

近日百度和药监局达成战略合作，百度将使用药监局的的药品数据为人们提供用药相关的查询。百度为这批数据付出的代价并未提及。天下没有免费的午餐，药监局虽然是要造福于民，但是这批数据显然不会白给。这意味着搜索引擎为数据买单的时代已经到来。笔者今天想谈谈关于搜索和数据关系的一些看法。注意，大数据离我们太远，这不是谈大数据。 360与即刻此前已达成战略合作，共同运营食品安全和曝光栏栏目外，且360将与即刻共享药监局的数据。再前，360搜索引擎通过云云搜索接入了微博搜索结果，再之前，Google购买Twitter数据以提供Twitter搜索结果。 谷歌干的事情是“整合全球信息，使人人皆可访问并从中受益”和“加速信息流动”。百度简单可依赖，干的事情是“让人们最便捷地获取信息，找到所求”。不同的表示，搜索引擎本质却是一致的：帮助人们找到想要的信息。伴随着社会化和移动互联网的浪潮，网络上的数据爆炸式的增长。如何应对这些爆炸的数据，既是搜索引擎面临的挑战，也是搜索引擎们的机遇。 具体分析如下： 一、比暗网更暗的大数据 网聚合所有网络上的信息，一直是有抱负的搜索引擎的梦想，但这是不可能完成的任务。 1994年Dr．JillEllsworth便提出”暗网“的概念。指存储在网络数据库里、不能通过超链接访问，不属于那些可以被标准搜索引擎索引的表面网络。暗网的规模也远超我们的想象，据科学家研究，人类信息只有不到1%的实现了WEB化，而WEB化的网页中，搜索引擎能抓取的大概为1%500。 不能抓取的既有网站本身非主观的问题（不符合网页规范，对搜素引擎不友好等），也有网站本身的主观屏蔽的问题，如淘宝、优酷等网站屏蔽百度的爬虫既是这类。搜索引擎在解决这两类问题上已经做过很多努力。包括爬虫爬取技术的优化、合法SEO的推动以及类似百度阿拉丁计划。 百度的阿拉丁计划通过提供接口的方式，第三方网站主动接入自己的结构化数据，用户在搜索时即可在结果前面看到这些信息。百度期望阿拉丁灯神可以“照亮”暗网。与此类似的计划还有Google的OneBox，360的oneBox（360这名字取的）。但在暗网的问题还未解决之际，一个更暗的网已经到来。 1、越来越多的私有化的WEB化数据 电商网站、BBS、知乎问答、互动百科、豆瓣电影等内容便是属于此类。垂直网站在达到一定规模后，拥有与搜索引擎博弈的能力时，便可屏蔽搜索引擎的爬虫，将自己的数据“私有化“。垂直网站提供的搜索功能，可以用个性化的搜索功能和独有的挖掘能力，提供更好的搜索体验。甚至上升为垂直搜索引擎，如知乎搜索。另外一种垂直搜索引擎即是综合其他垂直的结构化数据，提供搜索服务，如去哪儿、一淘。 笔者相信随着WEB的发展，垂直搜索是未来搜索引擎细分的一个方向，且将对传统搜索引擎构成威胁。类似手机上浏览器和原生APP之间的关系：浏览器和APP流量对半分。我们把传统搜索引擎如百度看成这一个浏览器，那么垂直搜索引擎便是APP。垂直搜索引擎也如APP一样正在滋长壮大。且他们具有的核心优势都是：个性化VS统一的优势。 如果说WEB数据私有化使前面提到的“WEB化的信息，能抓取：不能抓取的约为1:500”这个比率发生变化。下面要谈的将影响“不到1%的信息WEB化”的1%。 2、巨量增长的没有WEB化的数据 随着10多年的发展，PC互联网已积累大量的数据；而在移动互联网的浪潮下，APP、云应用、社交和物联网让数据爆炸式增长。对搜索引擎来说，这些数据几乎都是不可见的。 人工整理的数据：药监局的数据就是例子。这类数据集中存在于政府部门、机构组织和一些企业手里。他们手里即掌握着民众关心的权威民生数据，又暂时没有将这些数据通过网站开放出来。与此类似的拥有数据的还有交通部门、环保部门、旅游局、卫生局、教育局等民众关注的各个领域。经过十多年的信息化建设，这些数据想必已经达到可观的量级。另外，“我查查”的条形码数据也可归为此类。我查查团队创业初期，数百人团队在全国商场收集商品条形码数据。我查查有一定规模后，用户才主动为其添加条形码数据。 社交产生的数据：这里的社交网络不仅仅指微博或人人网。QQ聊天也是一种社交。邮件也是一种社交。虎嗅网也是一种社交。甚至短信通信也是一种社交。我们不妨将这称为“暗社交”。这些社交过程又产生了大量的信息，尤其是分享行为。一定程度上部分社交网站的数据是WEB化的，但是它们是封闭的。这部分数据正在巨量增长，而搜索引擎对他们无能为力。Facebook可以通过GraphSearch搜索自己的数据，微博有微博搜索，人人的，以及“暗社交”的数据，谁来搜索？ APP产生的数据：移动互联网已经不再是由WEB通过超链接互相连接的网络。APP之间通过接口互相链接，APP上的不同用户通过QQ