解决网络搜索问题
在1993年时,网络正处于刚刚开始发展的婴儿期。在那时,第一个拥有类似于今天我们使用的界面的流行浏览器Mosaic刚刚发布,网页的总数量还只是以千为单位来进行计算而已。
尽管当时网络已经诞生,但如何在网络上找到内容的问题尚未得到解决。Mosaic拥有一个名为“What's New”的页面,能在新网站被创立时检索到这些网站。但问题在于,如果想要Mosaic的开发者能够知道一个新网站的诞生,那么其创立者就必须写信给美国 伊利诺伊大学香槟分校(University of Illinois Urbana-Champaign)的国家超级计算应用中心(NCSA),也就是Mosaic浏览器团队的基地。
在那时,弗莱彻是斯特灵大学一名颇有前途的研究生,而且已经被推荐到格拉斯哥大学(University of Glasgow)攻读博士学位。但是,格拉斯哥大学的资金链在弗莱彻还没能到这所大学以前就已断裂,这让他变得无所事事。
“在突然之间,我变得非常渴望找到一种收入来源。”弗莱彻回忆道。“因此我回到了原来的大学,找到了一个为技术部门工作的岗位。”
正是在这个工作岗位上,弗莱彻第一次与万维网和Mosaic的“What's New”页面邂逅。
更好的方法
在为斯特灵大学建设一个网络服务器的过程中,弗莱彻意识到,“What's New”页面存在根本上的缺陷。由于网站是以人工方式被添加到这个网页的列表中的缘故,没有什么东西能被用来追踪网站内容的变化。其结果是,许多链接很快就会变得过期或是被错误标记。
“如果你想要看看有什么东西发生了变化,那么就不得不回过头去查看。”弗莱彻在谈及Mosaic的链接时说道。“抱着必须推出一种更好的方法的念头,拥有计算机科学学位的我决定要编写一些东西来改变这种情况。”
弗莱彻所说的“一些东西”就是全世界的第一个“网络爬虫”(web crawler)。弗莱彻把自己的这种发明称作“JumpStation”,他建立起了一个页面索引,能通过“网络爬虫”来对页面进行搜索,这基本上来说 是一种自动化的处理程序,能对被其发现的每个网站页面进行访问和索引。这种自动化处理的程序会一直继续下去,直到“网络爬虫”再也找不到东西可以访问时为 止。
在十年以后,也就是1993年12月21日,JumpStation就再也找不到可以访问的东西,结果是将2.5万个页面编入索引。而在今天,谷歌已经编入索引的页面数量已经超过了1万亿个。
JumpStatio诞生几个月以前的“What's New”页面