4.6.2 noindex meta robots标签

meta robots标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引本页内容，因而也就不会出现在搜索结果中。

最简单的meta robots标签格式为：

<meta name="robots" content="noindex, nofollow">

上面标签的意义是禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。

Google、必应、雅虎都支持的meta robots标签如下。

●—NOINDEX：告诉蜘蛛不要索引本页面。

●—NOFOLLOW：告诉蜘蛛不要跟踪本页面上的链接。

●—NOSNIPPET：告诉搜索引擎不要在搜索结果中显示摘要文字。

●—NOARCHIVE：告诉搜索引擎不要显示快照。

●—NOODP：告诉搜索引擎不要使用开放目录中的标题和描述。

百度的官方说法是目前只支持NOFOLLOW和NOARCHIVE。

meta robots标签内容可以写在一起，以逗号间隔，中间可以有空格，也可以没有。多个meta robots内容也可以写成不同标签。

<META NAME="ROBOTS" CONTENT="NOINDEX">
<META NAME="ROBOTS" CONTENT="NOFOLLOW">

与下面这个是一样的：

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

meta robots标签不区分大小写。

只有禁止索引时，使用meta robots才有意义。以下这个标签：

<META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">

是没有意义的，等于没写。普通需要被收录、索引，链接需要被跟踪的页面，不用写meta robots标签。

这个标签有时会用到：

<meta name="robots" content="noindex">

效果是禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。

使用了noindex meta robots标签的页面会被抓取（只要robots文件没有禁止），但不会被索引，页面URL不会出现在搜索结果中，这一点与robots文件不同。

抓取和索引（收录）是不同的概念。robots文件的作用是禁止抓取，但不禁止索引，meta noindex的作用是禁止索引/收录。如小节开始说明的，这两者的应用场景是完全不同的。

网上很多资料说meta noindex的作用是禁止抓取，这是错误的，正相反，要让meta noindex起作用，必须允许抓取，如果蜘蛛不抓取这个页面，根本看不到meta noindex标签。