北京SEO公司:搜索引擎蜘蛛这些Meta指令你知道吗?

机器人(搜索引擎蜘蛛)元指令是一些代码,可为抓取工具提供有关如何抓取或索引网页内容的说明。尽管robots.txt文件指令为机器人如何抓取网站页面提供了建议,但北京SEO公司认为机器人元指令为如何抓取和索引页面内容提供了更加坚定的指示。

有两种类型的机器人元指令:属于HTML页面的元素(如元机器人标签)和Web服务器作为HTTP标头发送的元素(例如x-robots-tag)。元机器人和x机器人标签都可以使用相同的参数(例如,元标签提供的抓取或索引指令,例如上述示例中的“noindex”和“nofollow”); 不同之处在于这些参数如何传递给爬虫。

Meta指令为抓取工具提供了有关如何抓取和索引他们在特定网页上找到的信息的说明。如果这些指令是由机器人发现的,则它们的参数将成为爬虫索引行为的强烈建议。但与的robots.txt文件,抓取工具不具备按照你的指令元,所以这是一个安全的赌注,一些恶意的网络机器人会忽略你的指令。

以下是搜索引擎抓取工具在用于机器人元指令时了解并遵循的参数。这些参数不区分大小写,但请注意,有些搜索引擎可能仅遵循这些参数的子集,或者可能会稍微区别对待某些指令。

北京SEO公司:指数化控制参数:

  • Noindex:告诉搜索引擎不要索引一个页面。
  • 索引:通知搜索引擎索引一个页面。请注意,您不需要添加此元标记; 这是默认设置。
  • 关注:即使该页面未被编入索引,爬虫应该遵循页面上的所有链接并将公平链接传递给链接的页面。
  • Nofollow:告诉爬虫不要在页面上关注任何链接或传递任何链接公平。
  • Noimageindex:告诉爬虫不要索引页面上的任何图像。
  • 无:相当于同时使用noindex和nofollow标记。
  • Noarchive:搜索引擎不应该在SERP上显示缓存的链接到这个页面。
  • Nocache:与noarchive相同,但只用于Internet Explorer和Firefox。
  • Nosnippet:指示搜索引擎不要在SERP上显示此页面的片段(即元描述)。
  • Unavailable_after:搜索引擎不应再在特定日期后为此页面编制索引。

北京SEO公司:机器人元指令的类型

有两种主要类型的机器人元指令:元机器人标签x-机器人标签。任何可以在meta robots标签中使用的参数也可以在x – robots – 标签中指定

我们将在下面讨论元机器人和x-robots标签指令。

Meta机器人标签

元机器人标签,俗称“元机器人”或通俗地称为“机器人标签”,是网页HTML代码的一部分,在网页的部分显示为代码元素<head>

代码示例:

<meta name =“robots”content =“[PARAMETER]”>

尽管通用<meta name=“robots” content=“[PARAMETER]”>标签是标准的,但您也可以通过将“机器人”替换为特定用户代理的名称来向特定搜寻器提供指令。例如,要专门针对Baiduspider指定某个指令,您需要使用以下代码:

<meta name =“Baiduspider”content =“[DIRECTIVE]”>>

想要在页面上使用多个指令?只要它们针对同一个“机器人”(用户代理),多个指令可以包含在一个元指令中 – 只需用逗号分隔它们。这是一个例子:

<meta name =“robots”content =“noimageindex”,“nofollow”,“nosnippet”>

该标签会告诉机器人不要索引页面上的任何图像,请遵循任何链接,或在页面出现在SERP上时显示该页面的片段。

如果您针对不同的搜索用户代理使用不同的元机器人标签指令,则需要为每个机器人使用不同的标签。

北京SEO公司:X机器人标签

meta robots标签允许您在页面级别控制索引行为,而x-robots标签可作为HTTP标头的一部分包含在内,以控制整个页面的索引,以及页面的特定元素。

尽管您可以使用x-robots-tag执行与元机器人相同的索引指令,但是x-robots-tag指令提供了更多灵活性和功能,而元机器人标签却没有。具体而言,x机器人允许使用正则表达式,在非HTML文件上执行爬行指令,并在全局级应用参数。

北京SEO公司:搜索引擎蜘蛛这些Meta指令你知道吗?

要使用x-robots-tag,您需要访问您网站的标头.php,.htaccess或服务器访问文件。从那里,添加您的特定服务器配置的x-robots-tag标记,包括任何参数。本文提供了一些很好的示例,说明如果使用这三种配置中的任何一种,x-robots-tag标记的外观。

以下是为什么您可能会使用x-robots-tag的一些案例:

  • 控制未用HTML编写的内容的索引(如Flash或视频)
  • 阻止页面特定元素(如图像或视频)的索引,但不阻止整个页面本身
  • 如果您无法访问页面的HTML(特别是<head>部分),或者您的站点使用了无法更改的全局标题,则控制索引
  • 添加规则以确定是否应将页面编入索引(例如,如果用户评论了20多次,则对其页面进行编号)

北京SEO公司:SEO机器人元指令的最佳做法

  • 所有元指令(机器人或其他)都是在抓取URL时发现的。这意味着如果robots.txt文件不允许抓取URL,页面上的任何元指令(无论是HTML还是HTTP头)都不会被看到,并且将被忽略。
  • 在大多数情况下,应使用带参数“noindex,follow”的元机器人标签来限制爬网或索引,而不是使用robots.txt文件禁止。
  • 需要注意的是,恶意爬虫很可能会完全忽略meta指令,因此这个协议并不构成一个好的安全机制。如果您有不想公开搜索的隐私信息,请选择更安全的方法(如密码保护),以防止访问者查看机密页面。
  • 您不需要在同一页面上同时使用元机器人和x-robots-tag。

北京SEO公司:搜索引擎蜘蛛这些Meta指令你知道吗?

越视界是一家专业的北京SEO优化公司,从成立至今已为超过523家公司,提供了优质服务,为企业提供优质的网络营销服务是我们立足市场的根本,联系电话:4000-565-626,好了,北京SEO优化搜索引擎蜘蛛这些Meta指令你知道吗?就分享到这里。感谢阅读,欢迎分享!

北京网站优化公司_SEO优化公司_北京新闻发稿_稿件策划撰写_越视界

相关新闻