它不会告诉引擎哪

latix60748@egvo

然后是nofollow标签，它位于页面上的单个链接上。里应该爬行或者不该爬行。所需要做的就是说明您是否在编辑上为所链接的页面担保，以及是否要将 PageRank 和链接公平性指标传递给该页面。

关于元机器人和 robots.txt 协同工作（或不能很好地协同工作）的有趣观点——SEO 世界中的许多人都这样做，然后感到沮丧。

例如，如果我们拿我们域名上的“blogtest.html”这样的页面来说，然后我 多米尼加共和国 电话号码 数据库 们说“所有用户代理，您都不能抓取 blogtest.html。” 好吧 - 这是阻止该页面被抓取的好方法，但仅仅因为某些内容没有被抓取并不意味着它不会出现在搜索结果中。

因此，我们让 SEO 人员说：“你知道吗，我们要确保这不会出现在搜索结果中；我们会放入元机器人标签：”

<meta name="robots" content="noindex, follow">
因此，“noindex, follow”告诉搜索引擎爬虫，它们可以跟踪页面上的链接，但不应该索引该特定链接。

然后，在这种情况下，你去搜索“博客测试”，团队中的每个人都会问“这是什么鬼！？WTF？为什么我会看到这个页面出现在搜索结果