Blog

Aunque gracias a movimientos como Open Data cada vez tenemos más datos disponibles y bien organizaditos para realizar los análisis y estudios que queramos, la verdad es que aún hay muchísimas fuentes de datos que no ponen la tarea de adquirir los datos nada fácil.

Para eso existen las técnicas y herramientas para hacer scraping. Para aquellos que no somos programadores, la existencia de herramientas como Needlebase o Yahoo! Pipes resulta de gran interés.

La buena noticia: Soporte para XPath en Yahoo! Pipes

Podría argumentarse que Yahoo! Pipes no es una herramienta de scraping; inicialmente, su función era combinar datos bien formados en formatos pensados para intercambiar dichos datos entre distintas aplicaciones (principalmente de fuentes RSS, aunque también acepta fuentes CSV). Aunque tenía un módulo para intentar rascar datos desde páginas HTML, no resultaba fácil de configurar. Pues bien, recientemente han sustituido este módulo por el módulo XPath Fetch Page, que permite utilizar expresiones XPath para indicar a partir de qué nodo queremos recuperar los datos de una página web, lo que facilita mucho esta tarea.

Este módulo resulta de utilidad en páginas que tienen algún tipo de estructura de datos que se repite, por ejemplo una página con los resultados de una búsqueda. Si le pasamos esa URL al módulo y le indicamos el nodo principal que contiene todos los nodos con los datos, Pipes se encargará de ir recogiendo los datos.

Sin embargo, y dado que como hemos comentado Pipes no es una herramienta de scraping propiamente dicha, tiene un par de inconvenientes:

• Las páginas de resultados normalmente no contienen todos los datos que nos interesan, sino los más básicos, y un enlace a una página de detalle. Pues bien, este módulo no sigue los enlaces, por lo que únicamente podremos recuperar automáticamente los que estén en la página de listado.
• La codificación de los datos puede ser muy heterogénea: pueden estar bien organizados en una tabla, o concatenados directamente en un mismo párrafo; en cualquier caso, si queremos obtener más de un tipo de dato usando este tipo de fuentes, después de recogerlos con XPath Page Fetcher será necesario que torturemos un poco más los datos con el módulo de expresiones regulares.
• El módulo permite únicamente una URL, por lo que si queremos recoger la información más allá de los primeros resultados de búsqueda, tendremos que duplicar, triplicar… el módulo con las URLs correspondientes.

La mala noticia: Google cierra Needlebase

Needlebase es una herramienta gratuita cuyo objetivo principal es precisamente hacer scraping de páginas web, de forma bastante simple. Google compró en enero ITA Software, la companía que desarrolló Needlebase… y han decidido cerrar la aplicación, a la espera de encontrarle un hueco dentro de las otras herramientas que tiene Google para trastear con datos… ¿alguien en la sala ha pensado en Jaiku?

El problema es que actualmente Google no cuenta con ninguna herramienta de scraping, y mucho me temo que simplemente dejen morir Needlebase, lo que sería una gran pena. Veremos qué es lo que pasa…