--我们拥有8年深圳网站建设经验,服务1500多家客户
--我们更注重网络营销,侧重于集成SEO网站优化的营销型网站建设
--我们专业PHP网站建设,专注PHP+MYSQL+DIV+CSS+HTML开发与研究
    专题: 政府支持项目外贸网站建设 电子行业网站建设 模具行业网站建设 SEO网站优化
当前位置:  首页 >> 服务中心 >> 建站指南 >> 网站建设之网络蜘蛛基本原理

    在线客服

  • 建站咨询: 您好,关于网站建设方面的事情可以咨询我 MSN 在线客服
  • 在线客服: 您好,随易典网络客服专员为您服务 MSN 在线客服

网站建设之网络蜘蛛基本原理

[随易典网络]  2011-10-02 00:35:41  www.cnsyd.com   【 】 【打印】  

        如果把互联网比喻成一个蜘蛛网,网络蜘蛛即Web Spider,是一个很形象的名字,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

    在抓取网页的时候,网络蜘蛛一般有两种策略:广度优先和深度优先(如下图所示)。广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页,然后再选择其中的一个链接网页,继续抓取在此网页中链接的所有网页。这是最常用的方式,因为这个方法可以让网络蜘蛛并行处理,提高其抓取速度。深度优先是指网络蜘蛛会从起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比较容易。两种策略的区别,下图的说明会更加明确。

    对于搜索引擎来说,要抓取互联网上所有的网页几乎是不可能的,从目前公布的数据来看,容量最大的搜索引擎也不过是抓取了整个网页数量的百分之四十左右。这其中的原因一方面是抓取技术的瓶颈,无法遍历所有的网页,有许多网页无法从其它网页的链接中找到;另一个原因是存储技术和处理技术的问题,如果按照每个页面的平均大小为20K计算(包含图片),100亿网页的容量是100×2000G字节,即使能够存储,下载也存在问题(按照一台机器每秒下载20K计算,需要340台机器不停的下载一年时间,才能把所有网页下载完毕)。同时,由于数据量太大,在提供搜索时也会有效率方面的影响。因此,许多搜索引擎的网络蜘蛛只是抓取那些重要的网页,而在抓取的时候评价重要性主要的依据是某个网页的链接深度。

    由于不可能抓取所有的网页,有些网络蜘蛛对一些不太重要的网站,设置了访问的层数。例如,在上图中,A为起始网页,属于0层,B、C、D、E、F属于第1层,G、H属于第2层,I属于第3层。如果网络蜘蛛设置的访问层数为2的话,网页I是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索到,另外一部分不能被搜索到。 对于网站设计者来说,扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

    网络蜘蛛在访问网站网页的时候,经常会遇到加密数据和网页权限的问题,有些网页是需要会员权限才能访问。当然,网站的所有者可以通过协议让网络蜘蛛不去抓取(下小节会介绍),但对于一些出售报告的网站,他们希望搜索引擎能搜索到他们的报告,但又不能完全免费的让搜索者查看,这样就需要给网络蜘蛛提供相应的用户名和密码。网络蜘蛛可以通过所给的权限对这些网页进行网页抓取,从而提供搜索。而当搜索者点击查看该网页的时候,同样需要搜索者提供相应的权限验证。

     




    文章出自:深圳网站建设公司-随易典网络 http://www.cnsyd.com 如转载请注明出处!
首页 | 关于我们 | 付款方式 | 联系方式 | 网站地图 | 友情链接 | 资料库 | 网站工具 7x24小时网站建设咨询热线:13510628852

Copyright © 2011 深圳市随易典网络科技有限公司 (粤ICP备05049741号 )
地址:深圳市福田区福田大厦中部2308  (上海宾馆正对面)  
公司客服邮箱:server@cnsyd.com   公司业务邮箱:info@cnsyd.com  技术邮箱:  edcode@cnsyd.com
深圳网站建设公司客服中心:0755-25336260 / 83124740  深圳网站建设公司咨询热线:0755-25336261 / 13510628852 传真:0755-25336267
深圳网站建设公司官网:www.cnsyd.com  
本站关键词: 深圳网站建设公司 深圳网站设计 深圳网站制作 深圳PHP网站建设公司