搜索引擎具有三个主要功能：

1. 抓取：在Internet上搜索内容，查看他们找到的每个URL的代码/内容。
2. 索引：存储和组织在爬网过程中找到的内容。一旦页面进入索引，它就会在运行中显示为相关查询的结果。
3. 等级：提供最能回答搜索者查询的内容，这意味着搜索结果的排序方式从最相关到最不相关。

什么是搜索引擎爬网？

搜寻是一种发现过程，搜索引擎在其中发现一组机器人（称为搜寻器或蜘蛛）以寻找新的和更新的内容。内容可能有所不同-可能是网页，图像，视频，PDF等-但无论格式如何，内容都是通过链接发现的。

Googlebot首先获取一些网页，然后按照这些网页上的链接查找新的URL。通过沿着链接的这种路径跳动，搜寻器可以找到新内容并将其添加到名为Caffeine的索引中（该Caffeine是一个庞大的已发现URL的数据库），以后当搜索者搜索到该URL上的内容为很适合。

什么是搜索引擎索引？

搜索引擎处理和存储他们在索引中找到的信息，索引是他们发现并认为足以为搜索者服务的所有内容的庞大数据库。

搜索引擎排名

当有人进行搜索时，搜索引擎会在索引中搜索高度相关的内容，然后对这些内容进行排序，以期解决搜索者的查询。搜索结果的相关性排序称为排名。通常，您可以假设网站的排名越高，搜索引擎认为该网站与查询越相关。

有可能阻止您的部分或全部网站访问搜索引擎爬网程序，或者指示搜索引擎避免将某些页面存储在其索引中。尽管这样做有一定的原因，但是如果您希望搜索者找到您的内容，则必须首先确保其对爬网程序是可访问的并且可索引。否则，它就像隐形一样好。

在SEO中，并非所有搜索引擎都是平等的

许多初学者想知道特定搜索引擎的相对重要性。大多数人都知道Google拥有最大的市场份额，但是对Bing，Yahoo和其他公司进行优化对它有多重要呢？事实是，尽管存在30多个主要的网络搜索引擎，但SEO社区实际上只关注Google。为什么？简短的答案是，绝大多数人都在Google搜索网络。如果我们将Google Images，Google Maps和YouTube（Google的一家网站）包括在内，则超过90％的网络搜索是在Google上进行的，这是Bing和Yahoo的总和的近20倍。

爬行：搜索引擎可以找到您的页面吗？

正如您刚刚了解到的那样，确保对您的网站进行爬网和建立索引是在SERP中显示的先决条件。如果您已经有一个网站，则最好先查看索引中有多少页面，然后再开始。这将对Google是否正在爬网并找到您想要的所有页面，以及您不需要的所有页面产生一些深刻的见解。

检查索引页面的一种方法是高级搜索运算符 “ site：yourdomain.com” 。转到Google，然后在搜索栏中输入“ site：yourdomain.com”。这将返回Google在其指定网站的索引中具有的结果：

谷歌

Google所显示的结果数量（请参见上面的“关于XX个结果”）并不确切，但是它确实使您对网站上哪些页面建立了索引以及它们当前在搜索结果中的显示方式有一个明确的了解。

为了获得更准确的结果，请在Google Search Console中监控和使用“索引覆盖率”报告。如果您目前没有免费的Google Search Console帐户，可以注册一个。使用此工具，您可以提交网站的站点地图，并监视实际上已将多少已提交的页面添加到Google的索引中。

如果您没有在搜索结果中显示任何位置，则可能有以下几种原因：

• 您的网站是全新的，尚未进行爬网。
• 您的网站未从任何外部网站链接到。
• 您网站的导航使机器人很难有效地对其进行爬网。
• 您的网站包含一些称为搜寻器指令的基本代码，这些基本代码会阻止搜索引擎。
• 您的网站已因Google的垃圾内容手段而受到惩罚。