O web crawler é um programa que atravessa automaticamente a web baixando as páginas e seguindo os links de página em página. Um objetivo geral do web crawler é baixar qualquer página da Web que possa ser acessada através dos links. Esse processo é chamado de web crawling ou aranha. Muitos sites, em particular os mecanismos de busca, usam o spidering como um meio de fornecer dados atualizados. Os rastreadores da Web são usados principalmente para criar uma cópia de todas as páginas visitadas para processamento posterior por um mecanismo de pesquisa que indexará as páginas baixadas para fornecer pesquisas rápidas. Os rastreadores também podem ser usados para automatizar tarefas de manutenção em um site, como verificar links ou validar código HTML. Além disso, os rastreadores podem ser usados para coletar tipos específicos de informações de páginas da Web, como a coleta de endereços de e-mail (geralmente para spam). Um web crawler é um tipo de bot, ou agente de software. Em geral, começa com uma lista de URLs para visitar, chamadas de sementes. À medida que o rastreador visita esses URLs, ele identifica todos os hiperlinks da página e os adiciona à lista de URLs para visitar, chamada de fronteira crawl. Urls da fronteira são visitadas recursivamente de acordo com um conjunto de políticas.
história da versão
- Versão 3.19 postado em 2012-01-15
primeiro lançamento público
Detalhes do programa
- Categoria: Utilitários do sistema > Ferramentas de automação
- Editor: VietSpider
- Licença: Livre
- Preço: N/A
- Versão: 3.19
- Plataforma: windows