人工解读Google 搜索网页抓取工具运作方式

 一般来说Google 搜索抓取网页的三个阶段,一个网页从抓取到被索引获得流量,都必须经过3个阶段(但不是所有网页都会经过这3个阶段)

%title插图%num

Google 搜索的工作流程分为以下 3 个阶段

  • 抓取:Google 会使用名为“抓取工具”的自动程序从互联网上发现各类网页,并下载其中的文本、图片和视频。
  • 索引编制:Google 会分析网页上的文本、图片和视频文件,并将信息存储在大型数据库 Google 索引中。
  • 呈现搜索结果:当用户在 Google 中搜索时,Google 会返回与用户查询相关的信息。

在抓取阶段首先是要“发现”网页,如果有别的网址指向你的网页,那么只要你的网页能被谷歌的抓取工具成功访问,那么抓取你的网页是不成问题的。

接下来就到了索引编制的阶段,抓取网页后,Google 会尝试了解该网页的内容。这一阶段称为“索引编制”,包括处理和分析文字内容以及关键内容标记和属性。只要抓去的你的网页不与互联网上的其他网页重复,或者是规范的网页。规范网页的URL会有可能显示在搜索结果中,进入下一步的“呈现搜索结果”如果在这一步被淘汰,那么就不会进入第三个流程。获得流量了。

如果你没有指定规范网页URL,谷歌会展示它认为是规范的网页。另外抓去到网页并不是一定会进入“索引编制”的阶段,常见的还有以下三个原因会导致你的网页不会被编制索引。

  • 网页内容质量低

即谷歌认为你的网页内容不具备价值,所以不给你的网页索引编制。

  • Robots meta 规则禁止编入索引

你网站根目录下Robots.txt禁止这个URL被索引编制

  • 网站的设计可能使索引编制难以进行

你的网页的使用的网页技术谷歌识别不了,比如通过JavaScript 来展示网页内容,而JavaScript 处理的不太好,或者当你的网页HTTP状态码不正确,也会导致索引编制难以进行。

原创文章,作者:大壮同学,如若转载,请注明出处:https://www.lidazhuang.cn/seo/google_spider/1898.html

(0)
上一篇 2016年4月29日 下午3:20
下一篇 2015年7月25日

相关推荐

联系我
大壮
我们将24小时内回复。
2024-09-19 18:53:37
您好,有任何疑问请与我们联系!
您的工单我们已经收到,我们将会尽快跟您联系!
取消

选择聊天工具: