Programas por crawler.archive.org

O projeto archive-crawler está construindo o Heritrix: um rastreador web flexível, extensível, robusto e escalável capaz de buscar, arquivar e analisar toda a diversidade e amplitude do conteúdo acoável à internet.