与访问者相比，以有针对性的方式在搜索引擎中显示特定内容

可以使用不同的策略来隔离内容推送。最基本的方法是使用不可抓取的格式来提供对搜索引擎不可见的内容（例如在图像、flash 文件和插件中放置文本等）它只能用于提供改进的用户体验，例如）。在这种情况下，您可以使用可抓取的格式在搜索引擎中显示相同的内容。如果您想向搜索引擎提供您不希望访问者看到的内容，您可以使用CSS 样式表。不要使用display: none 或基于JavaScript、用户代理、cookie 或会话的推送，或IP 推送（根据用户的IP 地址显示内容），因为搜索引擎使用过滤器来专门监控这一点。未使用。

使用这些技术时应特别小心。如前所述，搜索引擎在其指南中明确禁止使用欺骗行为，而不是欺骗搜索引擎，例如使用隐藏技术来改善意图和用户体验（例如，使用隐藏技术来提高质量网站的用户体验）），但是，搜索引擎仍然非常重视这些技术，这些技术可能会惩罚或禁止一些合谋或恶意操纵搜索引擎的网站。此外，如果您有一个好的起点，搜索引擎可能会认为它是恶意的并惩罚您。使用robots.txt 文件

该文件位于您域名的根目录中，是一种多功能工具，可让搜索爬虫确定访问了哪些网站内容。您可以使用robots.txt。

防止爬虫访问您网站的私人部分。

阻止搜索引擎访问索引脚本、实用程序或其他类型的代码。

避免索引您网站上的重复内容，例如HTML 页面的打印版本或产品目录中的多个排序顺序。

自动发现：当您告诉搜索引擎机器人不要访问特定页面时，该文件会阻止爬虫抓取该页面。图6-35 形象地展示了当搜索引擎看到机器人不抓取特定页面的命令时。txt 然后会发生什么。