Para eso existen las técnicas y herramientas para hacer scraping. Para aquellos que no somos programadores, la existencia de herramientas como Needlebase o Yahoo! Pipes resulta de gran interés.

La buena noticia: Soporte para XPath en Yahoo! Pipes

Podría argumentarse que Yahoo! Pipes no es una herramienta de scraping; inicialmente, su función era combinar datos bien formados en formatos pensados para intercambiar dichos datos entre distintas aplicaciones (principalmente de fuentes RSS, aunque también acepta fuentes CSV). Aunque tenía un módulo para intentar rascar datos desde páginas HTML, no resultaba fácil de configurar. Pues bien, recientemente han sustituido este módulo por el módulo XPath Fetch Page, que permite utilizar expresiones XPath para indicar a partir de qué nodo queremos recuperar los datos de una página web, lo que facilita mucho esta tarea.

Este módulo resulta de utilidad en páginas que tienen algún tipo de estructura de datos que se repite, por ejemplo una página con los resultados de una búsqueda. Si le pasamos esa URL al módulo y le indicamos el nodo principal que contiene todos los nodos con los datos, Pipes se encargará de ir recogiendo los datos.

Sin embargo, y dado que como hemos comentado Pipes no es una herramienta de scraping propiamente dicha, tiene un par de inconvenientes:

• Las páginas de resultados normalmente no contienen todos los datos que nos interesan, sino los más básicos, y un enlace a una página de detalle. Pues bien, este módulo no sigue los enlaces, por lo que únicamente podremos recuperar automáticamente los que estén en la página de listado.
• La codificación de los datos puede ser muy heterogénea: pueden estar bien organizados en una tabla, o concatenados directamente en un mismo párrafo; en cualquier caso, si queremos obtener más de un tipo de dato usando este tipo de fuentes, después de recogerlos con XPath Page Fetcher será necesario que torturemos un poco más los datos con el módulo de expresiones regulares.
• El módulo permite únicamente una URL, por lo que si queremos recoger la información más allá de los primeros resultados de búsqueda, tendremos que duplicar, triplicar… el módulo con las URLs correspondientes.

La mala noticia: Google cierra Needlebase

Needlebase es una herramienta gratuita cuyo objetivo principal es precisamente hacer scraping de páginas web, de forma bastante simple. Google compró en enero ITA Software, la companía que desarrolló Needlebase… y han decidido cerrar la aplicación, a la espera de encontrarle un hueco dentro de las otras herramientas que tiene Google para trastear con datos… ¿alguien en la sala ha pensado en Jaiku?

El problema es que actualmente Google no cuenta con ninguna herramienta de scraping, y mucho me temo que simplemente dejen morir Needlebase, lo que sería una gran pena. Veremos qué es lo que pasa…

Pero ahora el nuevo Twitter está completamente extendido y no se puede acceder a la interfaz antigua de ninguna manera. Twitter ha eliminado los enlaces al feed RSS tanto de la interfaz de los perfiles como del encabezado de los documentos, literalmente enterrando sus feeds RSS. Aunque la ayuda oficial insta a utilizar métodos sólo accesibles a programadores para poder generar manualmente los feeds, lo cierto es que siguen existiendo en su antigua forma. Sólo hay que saber qué URL teclear.

Todos los feeds RSS de perfiles de Twitter existen en URLs con el siguiente formato: http://twitter.com/statuses/user_timeline/[id-de-usuario].rss Si supieras la ID del usuario del que quieres el feed, sólo tendrías que introducirlo en el espacio correspondiente y ahí tendrías el feed. Pero si no conoces la ID del usuario (que es diferente del nombre de usuario, como pasa con Flickr), tendrás que buscar una manera de extraerlo. Aquí es cuando Twitter nos insta, si somos desarrolladores, a programar una herramienta que extraiga esta información. Pero alguien ya lo ha hecho por nosotros: ID from user, una herramienta en la que introducimos un nombre de usuario de Twitter y nos devuelve su ID. Ahora podemos simplemente añadir ese código numérico a la URL, y listo, ahí tenemos el feed que estábamos buscando.

Twitter se escuda en su estrategia keep it simple para explicar esta desaparición de los feeds RSS de los perfiles; podría explicar por qué no tenemos el enlace visible en la interfaz, pero realmente podrían haberlo dejado en el encabezado de los documentos como referencia para el que quiera utilizarlo. No entiendo cómo tener que rebuscar IDs y escribir URLs manualmente contribuye a hacerlo más simple.

[Fuente original: Twitter Tricks: Find Your Account RSS Feed In The New Profile Format]

Actualización (9/05/2011): También han hecho algo parecido en Facebook, según cuentan desde Genbeta.

Imagen original de Zengage, The Zendesk Blog

«Honestamente, ¿seguirías la cuenta de Twitter de tu propia empresa?». Sólo si respondes que sí tiene sentido mantener esa cuenta corporativa. O, dicho de otra forma, nunca obres con los demás lo que no quieras que obren contigo.

Rompeolas nace para poner foco a la imaginación de la ciudadanía y dejar que la energía ciudadana fluya e inunde la ciudad, adoptando las formas más libres y diversas que somos capaces de imaginar. Un festival de energía social y cultural que se plasmará en múltiples actividades individuales y colectivas.

El proyecto supone un reto sobre todo por la gran cantidad de eventos que forman parte de este festival, y por la compleja categorización de estos eventos. Los eventos se clasifican por día, tipo de evento y eje del proyecto de capitalidad en el que se circunscriben, y son navegables según todas estas categorías. Además, también se realizaron mapas para cada uno de los días del festival, con la ubicación de todos los eventos y logotipos identificativos del tipo de evento, y otro mapa general que incluye todos los eventos.