使用元机器人标签

元机器人标签具有三个组件：缓存、索引和跟随。缓存指示搜索引擎是否可以将页面放入引擎的公共索引中，以及是否可以通过搜索结果中的“cachedsnapshot”链接获取页面。

第二个组件索引是默认的，它告诉搜索引擎一个页面在任何情况下都可以被抓取和保存，所以不需要在每个页面上放置一个索引命令。反之，标有noindex的页面可以完全排除在搜索引擎之外，图6-39展示了搜索引擎robot在网页上查看noindex标签时的行为。

页面仍然可以被抓取，权限链接可以继续积累和传递，但它们不会出现在搜索索引中。

meta-robot标签中的最后一条指令类似一个索引，默认指令是“是的，抓取页面上的链接，并通过链接将链接传递到权限”。 nofollow 标签让搜索引擎知道页面上的所有链接都不会传递链接值。一般来说，使用这个命令来防止链接被抓取是非常不合理的。人类仍然可以访问该页面，其他网站可以链接到它（在元机器人标签中），因此nofollow 对抓取或限制抓取访问几乎没有影响。它的唯一功能是阻止链接权限的传播。自从rel='nofollow' 属性于2005 年启用（前面已描述）以来，此功能的使用是rel='nofollow' 属性允许用户在单独的链接中放置说明。

即使在页面上使用nofollow标签后，搜索引擎仍然可以抓取该页面并将其放入索引，但并非页面上的所有链接（包括导入和导出链接）都可以到达http://1276。 cn/重定向到另一个页面。

您可以在您的HTML 站点地图页面上放置noindex 标签，该页面是为用户和搜索引擎爬虫设计的导航辅助页面，可帮助用户和搜索引擎快速找到您网站上的内容。但是，在某些网站上，这些页面对搜索引擎并不重要，但仍希望这些页面将权限链接转发到链接页面。在页面上放置noindex 标签会阻止HTML。输入站点地图索引以消除此问题。您可以通过不在页面上使用nofollow 元标记或在页面链接上使用nofollow 属性来阻止页面转发权限链接。使用rel="canonical" 连接元素

2009 年2 月，谷歌、雅虎和微软首先提出了rel='canonical' 链接元素（也称为规范标签），这是一种旨在识别和解决内容重复问题的新想法。实现非常简单，如下所示：

此标签将出现在搜索引擎中

从搜索引擎优化的角度来看，rel='canonical' 链接元素在某些方面类似于301 重定向。您实际上是在告诉搜索引擎将多个页面视为一页（301 重定向）。完成）而不将访问者重定向到新的URL（对于许多发布商来说，这比其他解决方案容易得多），两个区别是：

301重定向指向所有流量（机器人和人类访问者），而标准仅适用于搜索引擎，允许您单独跟踪特定URL的访问者。

当指示多个页面共享受信任的来源时，301 更加明确。 301 被认为是搜索引擎和浏览器都应遵循的指令，但该标准仅作为建议出现。搜索引擎普遍支持这个新标签并信任网站所有者的意图，但也有一些限制。我们希望使用内容分析和其他算法指标来确保我们的标准不会被网站所有者滥用或恶意使用，并且我们希望确保我们看到指令被滥用。这是因为搜索引擎会将这些独立的URL 放在它们的索引中（这意味着网站所有者面临我们在第6.8 节“内容重复问题”中讨论的问题）。

本章稍后将介绍此标签的用途。一般来说，最好的解决办法是从根本上解决内容重复的问题，最好是消除问题。这是因为有一个rel='canonical' 链接元素。不能保证它会起作用，但你不能总是以相反的方式解决问题。 Canonical 是一种更有效的备份解决方案。