meta name="robots"元标签

FontSize: 【小中大】

name 属性设置为 "robots"，表示该元标签用于指示搜索引擎蜘蛛的行为。而content属性用于定义具体的指令，告诉搜索引擎蜘蛛如何处理当前页面。

下面是一些常用的 <meta name="robots"> 指令：

指令	解释
index	表示搜索引擎可以将该页面包含在搜索结果中。
noindex	表示搜索引擎不应该将该页面包含在搜索结果中。
follow	表示搜索引擎可以跟随该页面上的链接，并继续抓取和索引链接指向的页面。
nofollow	表示搜索引擎不应该跟随该页面上的链接。
noarchive	表示搜索引擎不应该创建该页面的缓存副本。
nosnippet	表示搜索引擎不应该显示该页面的摘要（snippet）内容。
noimagindex	表示搜索引擎不应该对此页面上的图片编制索引。
max-snippet:[number]	用于限制搜索引擎在搜索结果中显示网页的文本摘要的最大长度，[number]应替换为具体的字符数。
notranslate	表示不要在搜索结果中提供此页面的翻译。
max-image-preview:[setting]	用于控制搜索引擎在搜索结果中显示网页相关图像的预览方式，[setting]可以是"none"、"standard"、"large"之一。
unavailable_after [RFC-850日期/时间]	用于指定搜索引擎爬虫在特定日期之后停止访问和索引网页。

注意："unavailable_after:[date]"，该功能已被主流搜索引擎废弃。

如何使用robots meta标签？

与其他＜meta＞标签一样，robots meta标签应该放在网站HTML页面的＜head＞头部标签里面。

<meta name="robots" content="index">

其中，content属性的值为 "index"，表示搜索引擎应该索引当前页面，这只是一个示例，实际上，搜索引擎是默认索引页面的，您应该告诉它不应该做什么。

如果您的网站有很多页面，可能没有必要让搜索引擎为网站上的每个页面编制索引。在某些情况下，您会希望阻止搜索引擎对您网站上的一个页面多个页面进行索引。有些情况下，你不希望搜索引擎抓取特定网页上的任何链接。

此时，robots元标签都非常方便，因为它可以用来告诉搜索引擎不要索引特定页面，也不要抓取网站上给定页面上的任何链接。可以将Robots meta标签视为对所有搜索引擎蜘蛛关于网站上特定页面的通用指令，应该以特殊方式对待该页面。

示例：

<meta name="robots" content="noindex">

上面的代码是在告诉搜索引擎不要索引当前页面。

注意，并没有限制一次只能使用一个指令，用组合指令来告诉搜索引擎多种您想在达到的目的，多种指令中间以英文逗号间隔。

<meta name="robots" content="noindex,nofollow">

上面的代码告诉搜索引擎请不要索引该页面，并且不要关注该页面的任何链接，也不要通过任何链接传递页面权重。

但是，千万不要这样写：

~~<meta name="robots" content="noindex,index">~~

这是两个完全相反的指令。

也不要这样写：

~~<meta name="robots" content="noindex nofollow">~~

这种格式是错误的，多个指令之间少了间隔符。

max-snippet:[number]示例：

<meta name="robots" content="max-snippet:150">

150是您设置的最大文本摘要长度。搜索引擎会尽量将网页内容缩减为不超过150个字符的文本摘要，并在搜索结果中显示。

请注意，确切的字符数可能因搜索引擎而异，有些搜索引擎可能会对字符数进行微调，以提供更好的搜索体验。指定一个较小的数字可以控制文本摘要的长度，但并不是所有的搜索引擎都必须遵守指定的最大长度。

robots meta标签重要吗，可以缺省吗？

很多网站是没有放置robots meta标签的，不使用它，对网站并没有太大的影响，搜索引擎不会因为找不到robots meta标签而觉得网站有问题。就像上面提到的那样，如果页面中没有任何robots指令，搜索引擎会默认索引页面、关注页面的所有链接并传递权重、对页面上的所有图片进行索引。

既然可以不要，那它是不是不重要？

在您需要它的时候，它就会变得重要。因为它可以达到您的某些目的，而这些目的有助于网站的SEO优化。例如，您不想搜索引擎索引网站上重复的页面，不想索引但又不想删除的内容很少的页面。

使用robots meta标签会让网站在SEO上更有优势吗？

并不会，如果你在页面使用index,follow指令，基本上就是可有可无的。与没有robots meta标签相比，添加它并不会给你带来优势或额外的好处。它对搜索排名和其他指标没有影响，因此没有必要纠结于使用它来提高网页的搜索排名。

搜索引擎一定会执行robots meta标签中给出的指令吗？

不一定，搜索引擎不一定会执行robots元标签中给出的指令，因为robots meta 标签中的指令只是向搜索引擎提供建议，具体结果需要由搜索引擎决定或接受该请求。通常搜索引擎会尊重标签指令，但指令并非强制性的，搜索引擎算法和行为会根据各自的策略进行优化和调整。大多数情况下，搜索引擎确实会尊重满足您的请求，并执行元标签中给出的指令。

而且，各个不同的搜索引擎在执行指令的过程与结果不会完全相同。

在网页上添加robots meta标签会阻止蜘蛛爬网吗？

不会阻止，添加robots元标签不会阻止或禁止搜索引擎机器人抓取特定页面。

根据网站需求和网站的要求，您可以根据需要设置适当的 <meta name="robots"> 指令来控制页面的索引和蜘蛛行为。这有助于优化搜索引擎对您的网站的处理和显示方式。

看到这里是不是觉得有些疑惑，既然搜索引擎不一定执行robots meta标签中给出的指令，为什么还要使用它？搜索引擎会尊重您的指令，但不会盲目的执行，也就是说，正常情况下，它会去执行这些指令，但它需要自己思考、自己确认，而不由您说了算。就好比它是道德上的规范，而不是法律。

注意：robots.txt与rotots meta标签是两种不同的东西，不要混淆在一起，前者是一个txt文件，后者是HTML里的标签。