Em meados de 1990 foi criado o primeiro mecanismo de busca na Internet - Archie, que realizava buscas após baixar arquivos provenientes de sites FTP anônimos públicos. Entretanto não realizava busca por conteúdo de arquivos. Em 1991, Gopher foi criado. Este pesquisava o conteúdo dentro de arquivos de texto.
O primeiro “full text” mecanismo de busca foi o WebCrawler. Criado em 1994, ele permitia que os usuários procurassem qualquer palavra em qualquer página web, e tornou-se o padrão de todos os mecanismos desde então. Foi também o primeiro a ser mais amplamente conhecido pelo público. Depois foram lançados Lycos, Excite, Infoseek, Inktomi, Northern Light e Alta Vista. Mais tarde os buscadores adicionaram o conteúdo de diretórios populares como o do Yahoo! nas buscas para uma ganhar mais funcionalidade.
Os dois fundadores do Yahoo!, David Filo e Jerry Yang começaram seu guia de maneira a conseguir encontrar seu conteúdo de links na Internet. Entretanto começaram a gastar boa parte de seu tempo em suas listas de links favoritos. Suas listas tornaram-se extensas demais, e como solução elas se dividiram em categorias. Quando as categorias tornaram-se sobrecarregadas, foram desenvolvidas subcategorias... e o conceito do Yahoo! Search nascia.
Por volta de 2001, surge a ferramenta de busca que é a mais popular até o presente momento. Denominado Google, que representa o número 10 elevado a centésima potência, o buscador é baseado no conceito de popularidade de links e no PageRank, que serão abordados em seguida.
O MSN Search, de propriedade da Microsoft, começou em 2004 sua própria versão de mecanismo de busca, que antes dependia de mecanismos de terceiros. Em 2006 começou a mostrar seus resultados em tempo real, com sua plataforma de busca – Windows Live Search.
Em fevereiro de 2006, Ask Jeeves torna-se Ask.com. Novas funcionalidades foram adicionadas, como mapas que geram endereços dinamicamente. Ask.com utiliza de um algoritmo de ranking desenvolvido para Teoma e seus resultados de busca oferecem funcionalidades novas, como “page previews” e “zoom”, que ajuda o usuário a estreitar, expandir e selecionar palavras relacionadas.