北京SEO优化,网站robots文件的用法 - 越视界 北京SEO优化,网站robots文件的用法 - 越视界
联系电话:4000-565-626

当前位置: 越视界 > 新闻资讯 > 网站robots文件的用法

关注整合营销传播越视界

关注越视界

网站robots文件的用法

19-02-20 13:51

北京网站优化给大家讲解一下关于robots文件的一些问题。搜索引擎蜘蛛访问我们的网站最先查看的一个页面就是网站根目录下的robots.txt的纯文本文件,因为所有搜索引擎都是遵循robots协议的,搜索引擎蜘蛛通过访问你的robots.txt文件,可以判断你的网站哪些内容是允许蜘蛛抓取,哪些内容是不允许蜘蛛抓取的。因此北京SEO优化认为robots文件是很重要的。

北京SEO优化 robots.txt 写法

Robots.txt文件的作用:

1、屏蔽网站内的死链接。

2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。

3、阻止搜索引擎索引网站隐私性的内容。

robots.txt文件的基本语法

第一条是:User-agent,即搜索引擎蜘蛛的名称;

第二条是:Disallow,即要拦截的部分。

第三条是:Allow, 允许抓取的部分。

下面是一些常见的语法字符,有什么不了解的可以参考着去写

SEO优化 常用字符变量

案例参考:

1、禁止所有搜索引擎蜘蛛访问网站的任何部分

User-agent: *

Disallow: /

2、仅允许所有搜索引擎蜘蛛抓取/zb_users/upload目录下的文件

User-agent: *

Disallow: /

Allow: /zb_users/upload/

3、仅禁止所有搜索引擎蜘蛛抓取/zb_users/upload目录下的文件

User-agent: *

Allow: /

Disallow: / zb_users/upload

常见搜索引擎蜘蛛:

百度蜘蛛:Baiduspider

百度蜘蛛:Baidubot

360蜘蛛:360Spider

搜狗蜘蛛:Sogou News Spider

必应蜘蛛:bingbot

robots.txt文件需要注意的最大问题是:必须放置在一个站点的根目录下,而且文件名必须全部小写。

越视界是一家专业的北京网站优化公司,从成立至今已为超过500家公司,提供了优质服务,为企业提供优质的网络营销服务是我们立足市场的根本,联系电话:4000-565-626,好了,北京SEO优化网站robots文件的用法就分享到这里。感谢阅读,欢迎分享!


— THE END —

标签:SEO优化

相关推荐:
SEO优化网站排名突破快速上涨_越视界SEO优化
百度搜索引擎和SEO优化用户体验
SEO优化_网站如何获得关键词排名?
深入人心的软文营销文案怎样去写_越视界软文营销如何策划的?
网络舆情公关怎么做_越视界舆情监测服务
cache
Processed in 0.008576 Second.