几个主流搜索引擎蜘蛛的名称
1.Google蜘蛛名称 1）Googlebot：从Google的网站索引和新闻索引中抓取网页 2）Googlebot-Mobile针对Google的移动索引抓取网页 3）Googlebot-Image：针对Google的图片索引抓取网页 4）Mediapartners-Google：抓取网页确定AdSense的内容。只有在你的网站上展示AdSense广告的情况下，Google才会使用此漫游器来抓取您的网站。 5）Adsbot-Google：抓取网页来衡量AdWords目标网页的质量。只有在你使用GoogleAdWords为你的网站做广告的情况下，Google才会使用此漫游器。 2.百度蜘蛛名称： Baiduspider首字母B大写，其余为小写 3.雅虎（Yahoo!）蜘蛛名称： 1）Yahoo!搜索蜘蛛名称：Yahoo!Slurp. 2）Yahoo!搜索引擎广告蜘蛛：Yahoo!-AdCrawler.用来抓取Yahoo!搜索引擎广告登陆页网页 4.有道蜘蛛名称： YodaoBot 5.腾讯搜搜soso蜘蛛名称： Sosospider首字母S大写，其余为小写 6.搜狗（sogou）蜘蛛名称： sogouspider 7.Live蜘蛛名称 1）MSNBot：Mainwebcrawler（www.live.com） 2）MSNBot-Media：Images&allothermedia（images.live.com） 3）MSNBot-NewsBlogs：Newsandblogs（search.live.com/news） 4）MSNBot-Products：Products&shopping（products.live.com） 5）MSNBot-Academic：Academicsearch（academic.live.com） 拓展阅读：搜索引擎蜘蛛抓取网页规则分析 一、爬虫框架 我们可以将网页当作是蜘蛛的晚餐，晚餐包括： 已下载的网页。已经被蜘蛛抓取到的网页内容，放在肚子里了。 已过期网页。蜘蛛每次抓取的网页很多，有一些已经坏在肚子里了。 待下载网页。看到了食物，蜘蛛就要去抓取它。 可知网页。还没被下载和发现，但蜘蛛能够感觉到他们，早晚会去抓取它。 不可知网页。互联网太大，很多页面蜘蛛无法发现，可能永远也找不到，这部份占比很高。 通过以上划分，我们可以很清楚的理解搜索引擎蜘蛛的工作及面临的挑战。大多数蜘蛛是按照这样的框架去爬行。但也不完全一定，凡事总有特殊，根据职能的'不同，蜘蛛系统存在一些差异。 二、爬虫类型 1、批量型蜘蛛。 这类蜘蛛有明确的抓取范围和目标，当蜘蛛完成目标和任务后就停止抓取。具体目标是什么?可能是抓取网页数量，网页大小，抓取时间等。 2、增量型蜘蛛 这类蜘蛛和批量型蜘蛛不同，他们会持续不断的抓取，对于抓取到的网页会定期抓取更新。因为互联网中的网页是随时处于更新状态中，增量型蜘蛛需要能够反映出这种更新。 3、垂直性蜘蛛 这种蜘蛛只关注特定主题或者特定的行业网页。以健康网站为例子，这类专门的蜘蛛会只抓取健康相关主题，其它主题内容的网页则不抓取。考验这只蜘蛛的难点是如何去更精准的识别内容所属于行业。目前来看，很多垂直类行业网站是需要这种蜘蛛去抓取的。 三、抓取策略 蜘蛛通过种子URL进行爬行拓展，列出大量待抓取URL。但是待抓取URL数量庞大，蜘蛛如何确定抓取顺序先后呢?蜘蛛抓取的策略有很多种，但最终目的是一个：优先抓取重要的网页。评价页面是否重要，蜘蛛会根据页面内容原创程度，链接权重分析等众多方式来进行计算。比较有代表性的抓取策略如下： 1、宽度优先策略 宽度优先是指：蜘蛛在抓取一个网页后，继续将该网页所包含的其它页面按顺序进行进一步抓取。这种思想看似简单，其实却很实用。因为大多数网页都是按优先级进行排序，重要的页面会优先在页面上进行推荐。 2、PageRank策略 PageRank是一种非常著名的链接分析方法，主要是用来衡量网页权重。如谷歌的PR，就是典型的PageRank算法。通过PageRank算法我们可以找出哪些页面是更重要的，然后蜘蛛优先去抓取这些重要性的页面。 3、大站优先策略 这个很容易理解，大网站通常拥有更多的`内容页面，并且质量也会更高。蜘蛛会先分析网站归类与属性。如果这个网站已经收录很多，或者在搜索引擎系统中权重很高，则优先考虑收录。 四、网页更新 互联网中的页面大多会保持更新，这样就要求蜘蛛所存储的页面也能及时更新，保持一致性。打个比喻：一个网页之前排名很好，如果页面已经被删，却还有排名，那体验就很不好。因此搜索引擎需要随时了解这些并更新页面，将最新的页面提供给用户。常用的网页更新策略在三种：历史参考策略，用户体验策略。聚类抽样策略。 1、历史参考策略 这是建立在一种假设基础上的更新策略。比如，若你的网页之前按规律一直更新，那搜索引擎也认为你的页面将来也会经常更新，蜘蛛也会按这个规律定期来网站进行抓取网页。这也是为什么点水一直强调网站内容需要有规律更新的原因。 2、用户体验策略 一般来说，用户只会查看搜索结果前三页的内容，后面的页面很少有人去看。用户体验策略就是搜索引擎根据用户的这个特点来进行更新。例如，一个网页可能发布时间较早，一段时间没更新，但是用户依然觉得有用，点击浏览它，那么搜索引擎先不去更新这些过时的网页也是可以的。这就是为什么搜索结果中，并不一定最新的页面排名一定靠前的原因。排名更多的是取决于这个页面的质量，而完全不是更新时间先后。 3、聚类抽样策略 上两种更新策略主要是参考了网页的历史信息。但存储大量历史信息对搜索引擎来说是一种负担，另外如果收录的是新网页则是没有历史信息可以参考的，那怎么办?聚类抽样策略是指：根据网页所展现出来的一些属性，来将很多相似网页进行归类，被归类的页面按照相同的规律去进行更新。 从了解搜索引擎蜘蛛工作原理的过程中，我们会知道：网站内容之间的相关性，网站与网页内容更新规律，网页上链接分布以及网站权重高低等因素都会影响到蜘蛛的抓取效率。知已知彼，让蜘蛛来得更猛烈些吧！
怎么搜索磁力链接
可能有些人会问，不是有专门的磁力搜索网站吗，何必用通用搜索引擎来找磁力链接呢？其实使用通用搜索引擎来找磁力链接也有不少好处：(1).页面简洁，干扰的广告少，很多时候在搜索结果的摘要上就可以看到完整的磁力链接，因此不用再次点击搜索结果中的网页链接。(2).百度、搜狗此类通用搜索引擎搜索到的磁力链接下载速度应该会快一些。专业的磁力搜索也有不少缺点：(1). 广告多，特别是弹窗广告，严重影响人们的使用体验。(2). 网站本身不稳定，经常无法访问。(3).部分网站的搜索结果排名不合理众所周知，BT下载速度不够稳定，当中断时则无法完整下载。但是，这还不是最严重的。从2009年开始，BT下载遭遇到了“更大的困难”——很多的BT服务器被关，不仅很多种子文件无法找到，BT Tracker服务器也断开解析工作，这就使得BT下载成为很大的难题。磁力链接很好地解决了这个问题。磁力链接的问世与大行其道，标志着BT 1.0时代已经过去，BT 2.0 时代已经到来。深刻理解磁力链接简单地说，磁力链接是一种特殊链接，但是它与传统基于文件的位置或名称的普通链接（如https://xxx）不一样，它只是通过不同文件内容的Hash结果生成一个纯文本的“数字指纹”，并用它来识别文件。它类似于生活消费品包装上常见的条码，不同的是这个“数字指纹”可以被任何人从任何文件上生成，这也就注定了磁力链接不需要任何“中心机构”的支持（例如：BT Tracker服务器），且识别准确度极高。因此任何人都可以生成一个Magnet 链接并确保通过该链接下载的文件准确无误。在传统的BT下载方式中让各个下载者之间相互联系，有2种途径：1、通过连接BT种子中记录的BT Tracker服务器，获取下载者列表2、利用BT种子中记录的“数字指纹”通过DHT网络进行搜索，获取下载者列表（不过现实是，存活的BT Tracker服务器越来越少。而BT种子文件也需要服务器保存。）我们假设“BT Tracker服务器连接不上了，BT种子文件服务器也被干掉了。。”那么显而易见的是第1种途径完全走不通，第2种途径只能帮你“寻找”，却没办法知道你在寻找什么。“磁力链接”的主要作用就是把“数字指纹”告诉DHT网络，你需要寻找什么。
搜索引擎蜘蛛的作用是什么？
01 搜索引擎蜘蛛的作用是通过这些搜索引擎蜘蛛的爬行，会自动将网页添加到搜索引擎的数据库当中，搜索引擎蜘蛛会自动判断网页的质量，根据既定的程序判断是否抓取。 搜索引擎蜘蛛，又称网页蜘蛛。本意为搜索引擎机器人（robot），称为蜘蛛的原因是将互联网比喻成蜘蛛网，将机器人比喻成了在网上爬行的蜘蛛，是搜索引擎自动抓取网页的程序。 其作用是通过这些搜索引擎蜘蛛的爬行，会自动将网页添加到搜索引擎的数据库当中，搜索引擎蜘蛛会自动判断网页的质量，根据既定的程序判断是否抓取。 如果你想获得搜索引擎蜘蛛的亲赖，希望它天天爬行抓取网页的话，那就需要持续保持原创文章的更新，并且定期交换友情链接。如果你不希望某个搜索引擎的蜘蛛来抓取你的网页，可以通过设置robots.txt来禁止抓取。
