Scrapy es un marco de código abierto y colaborativo para extraer los datos que necesita de los sitios web. De una manera rápida, simple, pero extensible.

StormCrawler es un SDK de código abierto para crear rastreadores web distribuidos con Apache Storm. El proyecto está bajo la licencia Apache v2 y consiste en una colección de recursos y componentes reutilizables, escritos principalmente en Java. El objetivo de StormCrawler es ...

Heritrix es el programa de rastreo web de código abierto, extensible, a escala web, con calidad de archivo. Heritrix (a veces escrito como heretrix, o mal escrito o mal dicho como heratrix / heritix / heretix / heratix) es una palabra arcaica para heredera (mujer que hereda). ...

Mixnode es una plataforma rápida, flexible y escalable masivamente para extraer y analizar datos de la web. Mixnode le permite pensar en todos los recursos en la web como filas en una tabla de base de datos; una tabla de base de datos gigante con miles de millones de filas que...

Apache Nutch es un proyecto de software de rastreo web de código abierto muy extensible y escalable. Nutch está totalmente codificado en el lenguaje de programación Java, pero los datos están escritos en formatos independientes del lenguaje. Tiene una arquitectura altamente mo...

ProxyCrawl lo ayuda a mantenerse en el anonimato mientras rastrea la web, la protección del rastreo web debe ser como debe ser. Obtenga datos para sus proyectos de SEO o minería de datos sin preocuparse por los proxies mundiales. Raspe Amazon, raspe Yandex, Facebook scraping, ...