blog

Robots.txt文件案例研究:第三方指令如何变更导致泄漏URL和丢失SEO流量

我过去曾多次写过关于技术搜索引擎优化问题如何导致排名和流量严重下降从元机器人标签到rel = canonical到隐形404s,一些问题可能在表面之下,造成严重损害到你的网站,SEO明智嗯,我不幸遇到了另一种情况,我将在这篇文章中介绍这个问题导致排名和流量的缓慢泄漏,这使得业主很难注意到公司知道,重要的网页已经从谷歌的索引中消失了当与客户谈论搜索引擎优化的危险时,我经常报道机器人文件文件这是一个简单的文本文件,但如果处理不当,它会对你的搜索引擎优化工作造成灾难性的影响它让我想起来自Men In Black的“吵闹的蟋蟀”身材虽小但功能强大尽管大多数SEO都明白机器人文件中的一揽子禁令会引起大量问题,但还有许多其他情况可能会导致问题,以及一些问题可能会缓慢发生并导致重要的网址从Google的索引泄漏 - 如果这些网址很重要,那么你手上就有一个大问题(顺便说一句,你不会知道它,除非实际上有人抓住了这个问题)一家公司在意识到它已经不再按照一些重要的类别关键字排名后向我伸出援手他们非常担心,至少可以说但是随着谷歌的许多变化,排名下降可能是任何事情, 对?也许这是一个算法更新,也许竞争加剧了它的游戏,或者也许,只是也许,有一个技术问题导致排名下降所以我跳进去执行一些侦探工作在深入了解情况后,我快速检查了URL曾经排名类别关键字有趣的是,有些网址仍然排名很好,而其他网址根本找不到是的,有些网址已经从谷歌的索引中消失了所以我检查了元机器人标签不存在我检查了x-robots标题,以确保没有在标题响应中发出noindex Nope,事实并非如此然后它命中我我检查的类别URL是非描述性的,复杂的并且使用混合大小写基本上,CMS没有为网站上的大部分页面使用“漂亮”的URL(基于CMS的设置方式)我知道在这样的情况下,URL很容易被贪婪的robotstxt指令捕获(“贪婪”只是意味着它们能够阻止超出他们的预期)我在谷歌搜索控制台(GSC)中启动了机器人文本测试程序并开始测试类别URL宾果游戏有些URL显示为已阻止,而其他URL被允许我还导出了以前从以下网站接收过流量的网址列表谷歌有机并抓取他们这使我能够查看当前被机器人文件阻止的任何网址(批量)再次,一些被阻止,一些被允许在大量分析情况后,它最终成为两个问题随着时间的推移审查机器人文件文件,我看到两个令人不安的主要问题首先,CMS提供商正在将新指令添加到robotstxt,并且网站所有者不知道发生了什么。该网站有成千上万的URL被索引,所以即使是机器人文本中的一个小的改动指令可能是危险的第二,指令稍微改变了案例这意味着那些指令可能错误地拾取或遗漏网站上的URL例如,如果你的目标是目录/ C ategory /但是指令是/ CATEGORY /,那么你不会禁止在/ Category /目录中解析的URL,因为指令是区分大小写的。这是每个SEO,网站管理员和业主的重要注意事项请参阅下面的截图随着时间的推移添加/删除指令并且区分大小写更改,公司在不知不觉中禁用了重要的类别网址当禁止使用网址时,Google无法抓取网页以确定其中包含的内容,这导致其中一些网址从Google的索引中删除随着时间的推移不好但是这里有一个问题:URL通常不会立即从索引中删除 - 因此问题变得非常难以让公司检测到一天没有大的下降;相反,他们经历了谷歌索引中重要网址的缓慢泄露正如您所猜测的那样,排名和流量随着指数从索引中删除而泄露今年8月,Google网站管理员趋势分析师约翰·穆勒录制了一个专门针对机器人的整个网站管理员视频群txt对于参与技术搜索引擎优化的人来说,这是一个必须关注的一件事突出的是约翰解释了谷歌如何处理不允许的URL,以索引方式为例。例如,不允许的URL会保留在索引中,是否会丢失,以及如何他们辍学还需要多长时间?在视频中的32:34,John解释说Google会删除之前抓取的不允许的网址信息,并且可能只使用基本信息为网址编制索引。此外,Google可以随时间从索引中删除这些网址无法保证网址将被删除,但这肯定会发生。请看这里的视频:所以当你有一个错误地禁止网址被抓取的情况时,他们可能会留在索引中一段时间​​,直到谷歌决定放弃它们当谷歌最终掉线他们,你不会有任何迹象表明他们已经消失了(除了这些网址的流量下降)要注意如果你想听约翰谈及区分大小写,你可以在视频中观看13:50他涵盖了一些重点关于指令,区分大小写和字符匹配那么如何避免在您自己的网站上发生这种情况?我将在下面提供几个子弹,可以帮助您了解何时对您的robotstxt文件进行更改,以及如何发现机器人文件中是否禁止用于驱动流量的URL这绝不是推荐的最终列表,而是下面的子弹绝对可以帮助你避免由于机器人文本问题导致的SEO灾难正如你可以看到的那样,技术搜索引擎优化的变化会对排名和流量产生很大的影响尽管robotstxt是一个简单的文本文件,它所拥有的指令可以阻止重要的URL正在被抓取(这可能会导致这些网址从Google的索引中删除)如果这些网页从索引中删除,他们就没有机会进行排名而且没有机会进行排名,他们无法推动流量这意味着你输了,

查看所有