如何避免网站内容重复

如前所述，可以通过多种方式创建重复内容，从SEO 的角度来看，材料的内部复制需要特殊技能才能达到最佳效果。在许多情况下，复制页面对用户和搜索引擎没有价值。在这种情况下，您应该通过调整操作模式，使所有页面都可以通过一个URL 访问来彻底解决此问题。 301 还会将原始URL 重定向到仍在使用的URL（在“重定向”部分有详细说明）。这可以帮助搜索引擎尽快找到采取的行动并维护链接。删除页面权限。

如果这是不可能的，还有许多其他方法。如第6.10 节“控制内容推送和搜索爬虫”中所述。这里总结了一些处理不同情况的简单解决方案。

使用robots.txt来防止搜索引擎爬虫抓取您网站上的重复页面。

使用rel='canonical'链接元素，这是去除重复页面后的最佳解决方案。

使用metaname='robots' content='noindex' 来防止搜索引擎索引复制的页面。

但是，如果您使用robots.txt 防止页面被抓取，则在页面上使用noindex 或nofollow 是没有意义的。 —— 爬虫无法读取页面，所以显示noindex 或nofollow 之后要了解这些工具，以下是一些具体的内容迭代场景：

HTTPS页面

如果您使用SSL（加密浏览器和Web 服务器之间的通信）但不翻译整个网站，则您网站的某些页面可能以https: 开头，而不是http:

如果您的网站存在这些问题，您可以使用re='canonical' 链接元素（如第6.10 节“内容推送和搜索爬虫控制”中所述）或使用301 重定向来解决这些页面。问题。

重复内容创建CMS（内容管理系统）

有时，由于CMS 的限制，一个网站上有多个相同的页面，CMS 系统使用多个URL 来提供相同的内容。通常这是不必要的迭代，因为它对最终用户没有真正的价值。最好的办法是删除这些重复的页面，并弄清楚如何将删除的页面(301) 重定向到保留页面。如果这不起作用，您可以考虑本节开头的另一种方法。

打印一页或多个排序顺序

许多网站为用户提供打印页面，他们可以在其中以各种方便的可打印格式放置相同的内容，或者一些电子商务网站以多种排序顺序（例如尺寸、颜色、品牌和价格）展示其产品。这些页面具有最终用户价值，但对搜索引擎没有价值，因此它们可能会显示为重复内容。出于这个原因，您可以使用本节前面提到的方法，也可以像Yoast 帖子中提到的那样创建一个打印的CSS 样式表。

来自博客和多个文件系统的重复内容（例如页码）

博客上出现了一些有趣的内容重复问题。您博客上的帖子出现在各个页面上，例如您博客的主页、您帖子的友情链接页面、您的日期档案页面和您的分类页面。从另一个地方复制的。很少有出版商想要在博客主页和友情链接页面上提供帖子，搜索引擎通常可以适当地处理博客帖子。但是，明智的做法是仅从类别或日期存档页面中选择一部分帖子。

用户生成的重复内容（例如重印）

许多网站使用不同的平台来获取用户生成的内容，例如博客、论坛和工作板。通过这种方式，您可以以非常低的成本获得大量内容，但问题是用户向您的网站提交内容。同时发布到不同的网站会导致这些网站之间的内容重复。很难弄清楚，但是您可以做两件事来减轻这个问题的影响。

明确指出用户向本网站提交的内容必须是原创的，不得在其他网站上发布，也不得发布在任何其他网站上。当然，这很难实现，但它可以帮助表达期望。

以独特且不同的方式运行您的论坛。除了在标准位置输入您的数据之外，还可以使用其他网站和不同位置来输入您的数据，但要确保该位置具有吸引力和价值。它可以被网站访问者查看。