logo

SEO科技网欢迎您
您所在的位置:首页>>SEO公司>>SEO公司教你robots文件你用对了吗

SEO公司教你robots文件你用对了吗

来源:SEO科技网 上传:SEO科技网 更新日期:2020-7-13

SEO公司教你robots文件你用对了吗

Robots协议也称爬虫协议,指网站通过robots协议告诉搜索引擎哪些页面可以抓取、哪些

页面不可以被抓取。搜索引擎在访问网站页面时首先会检查该网站是否设置了robots文件,

以告知蜘蛛可以爬行的页面和不能爬行的网页。通常来说,这个文件一般放在网站的根目录下。

 

 

SEO公司,更多>>
 
 
       

 

 
       

CopyRight © 2018-2020 SEO科技网 All Rights Reserved