logo

您所在的位置:首页>>SEO公司>>Peer to Peer SEO公司对等式分布爬虫

Peer to Peer SEO公司对等式分布爬虫

来源:SEO科技网 上传:SEO科技网 更新日期:2022-5-11

Peer to Peer SEO公司对等式分布爬虫
在对等式分布爬虫体系中,服务器之间不存在分工差异,每台服务
器承担相同的功能,各自负担一部分URL的抓取工作,即是其中一种对
等式分布爬虫,Mercator爬虫采用此种体系结构,SEO公司由于没
有URL服务器存在,每台抓取服务器的任务分工就成为问题,在体系结


构下,由服务器自己来判断某个URL是否应该由自己来抓取,或者将这
个URL传递给相应的服务器。至于采取的判断方法,则是对网址的主域
名进行哈希计算,之后取模,如果计算所得的值和抓取服务器编号匹配,
则自己下载该网页,否则将该网址转发给对应编号的抓取服务器。


SEO公司,更多>>

 

 
       

CopyRight © 2023 SEO科技网 All Rights Reserved