My Search Engine

WebCrawler – 1994

К 1994 году Интернет был основным источником обсуждения в большинстве научных программ информатики. В университете Вашингтона студент Brian Pinkerton развивал маленькое однопользовательское применение, для нахождения информации в сети. При поддержке сокурсников, Pinkerton строил интерфейс сети к своей программе WebCrawler, которая была выпущена 20 апреля 1994 года, с базой данных, содержащей документы в 6 000 серверов.
WebCrawler был уникален тем, что это был первый робот сети способный индексировать каждое слово на веб-странице, в то время как другие хранили URL, название и самое большее 100 слов. Через несколько коротких месяцев, WebCrawler составлял в среднем 15 000 хитов в день. Служба AOL в конечном счете купила WebCrawler и управляла им на его системе.