logo

您所在的位置:首页>>SEO优化 >>南山SEO优化>>增量更新模式南山SEO优化咖啡因系统—Percolator

增量更新模式南山SEO优化咖啡因系统—Percolator

来源:SEO科技网 上传:SEO科技网 更新日期:2022-7-21

增量更新模式南山SEO优化咖啡因系统—Percolator
2010年6月,Google公司宣布咖啡因系统上线,这是一种新的索引
更新方式,几乎可以实时对抓取到的内容进行更新并体现在搜索结果
内。据说该系统上线后影响了巧%互联网网页的搜索排名,其实从其功
能来讲,咖啡因系统并没有对搜索排序因素做出改变,不会对搜索排名
本身有直接影响,只不过随着更新周期的缩短,使得新更新的网页内容
更快体现在搜索结果上,或许是最近更新网页新增加的内容导致网页用
户查询更相关,所以造成了更新网页的排名上升,影响到内容没有更新
的网页,给人的外部观感是直接影响了搜索排名。
咖啡因系统是外部代号,其对应的内部项目名称叫做Percolator,这
本质上是构建在BigTable上的一种与Map/Reduce计算方式互补的云计算
模式,主要用来对搜索引擎的索引系统进行快速增量更新。在部署咖啡
因系统之前,Google搜索的索引更新是利用Map/Reduce机制周期性全量
更新的,也就是说,每隔一段日期,将新抓取的网页和原来抓取到的网
页作为一个整体,利用Map/Reduce重新建立一遍索引,很明显,这种方
式更新周期比较长。在部署咖啡因系统之后,索引系统可以做到增量更
新,对于新抓取到的网页,可以立即更新到索引系统里,新的索引更新
周期比原先的方式快了大约100倍左右。


咖啡因系统作为一种增量更新模式,并不是Map/Reduce的替代品,
两者各有所长,起到互补作用。如果是全局性的统计工作,还是比较适
合用Map/Reduce来做,而对于局部性的更新则比较适合使用Percolator
系统来处理。另外,Percolator在BigTable的行事务支持的基础上实现了
跨行跨表的事务支持,所以提供了对数据处理的强一致性服务,如果应
用只有较弱的一致性要求,那么直接使用BigTable已经足够,如果有强
事务要求的话,则使用Percolator比较合适。再次,Percolator是对海量
数据处理的计算模型,如果数据量没有达到一定量级,其实直接采用数
据库系统即可满足需求。所以,咖啡因系统可以理解为针对海量数据处
理的、提供强一致性支持的局部更新计算模型。这是其与所有其他系统
的不同之处。
从设计特点来说,为了能够支持对海量数据的增量更新,Percolator
主要提供了以下两种功能:首先是能够对数据进行随机存取并提供对数
据处理的ACID事务支持,另外提供了类似于观察/通知方式的整体计
算结构。

南山SEO优化,更多>>
       
 
       
 
       

CopyRight © 2023 SEO科技网 All Rights Reserved