1、性能够高
柳工配件相信大家都知道，在互联网里面的数据信息如同大海一样，当搜索引擎要抓取数据的时候，就必须要强大的性能支持，这里的性能指的是搜索引擎的抓取网页的速度。一般来说评价搜索引擎的性能高低主要是以搜索引擎蜘蛛每秒下载数据的速度做为其性能指标，在单位时间内下载的数据信息的数量越多，则证明该爬虫的的性能越高。http://cn.yixiin.com/spread/
2、扩展性强
爬虫的下载的速度越快其性能就越高，但是面对犹如大海一般的互联网，我们的又怎么能做到抓取完这些庞大的数据，这时候，在爬虫的数量上就必须要有所增加，这个就是搜索引擎的扩展性。目前大多数的主流搜索引擎爬虫都是分布式进行数据抓取数据的，所谓分布式，就是分成多台服务器进行抓取，每一台服务器上都有多个爬虫，并且每台服务器分线程运行，通过多种方式增加并发性 。针对一些较为巨型搜索引擎服务商，可能还要在全球范围、不同的地域分别部署数据中心，爬虫也将被分配到不同的数据中心去，这样对提高爬虫系统的扩展性起到了很有效的作用。
3、灵活健壮
搜索引擎爬虫在抓取数据的过程中，往往会遇到一些不常见的问题，也是搜索引擎爬虫的一些考验问题，例如：网页编码不规范、服务器死机或者爬虫陷阱等等，爬虫应该具备能够处理这些问题的能力，如若不然，当爬虫遇到这些考验的时候就要停止工作的话那么，对服务商和客户造成无法估计的后果。我们可以换一个角度去想想，如果爬虫在抓取数据的时候死掉了，或者爬虫所在的服务器死机了，强壮的爬虫应该要可以做到：当再次启动的时候，贺德克滤芯能恢复到爬虫死机之前所抓取的数据结构之内，而并不是每一次的停止都需要重新来过，这样的搜索引擎爬虫才算是健壮型的搜索引擎爬虫。
爬虫的友好性主要包含两个方面的含义：①对部分私密性的网站进行保护，②是为了减轻被抓取网站的网络负载。http://cn.yixiin.com/news/
4、友好性
搜索引擎爬虫的抓取对象是各种类型的网站，那么对于网站的拥有者来说，网站页面内的一些隐私数据不想让搜索引擎抓取，这时候就要对网站设置协议，设置协议的原因就是为了告知爬虫可抓取的内容和不可抓取的内容，一般来说具有友好性的搜索引擎爬虫在到来网站后准备抓取数据时候首先就会先读取协议，在协议中了解了内容的可抓取和不可抓取声明，那么就会按协议的步骤去抓取网页的内容了。
