IBM-Netezza y ESRI: Análisis de datos Geoespaciales

Desde hace bastante tiempo he seguido el mundo de los SIG (o GIS, sistemas de información geográfica, en sus siglas en inglés) y sus aplicaciones. Hoy en día el principal fabricante es ESRI, gracias a sus productos innovadores y a su comprensión acertada de las necesidades de sus clientes. Esta es una de las razones por las que el anuncio hecho en octubre por Esri e IBM-Netezza es tan relevante. Trataré de explicar aquí porqué y qué es lo que realmente significa.

Uno de los retos de los sistemas que manejan información geográfica es el analizar adecuadamente esta información a partir de que alcanza un tamaño considerable, lo cual es muy fácil cuando hablamos de datos geográficos y queremos relacionarlos con otro tipo de datos sobre los que queremos realizar análisis. Mientras las bases de datos actuales son capaces de almacenar tantos terabytes como sea necesario y el coste del almacenamiento no hace mas que descender, el problema llega cuando queremos realizar procesos de análisis de esos datos, ya que la potencia de cálculo necesaria hace que muchos de estos trabajos sean inviables, por no hablar de que en muchas ocasiones ya resulta imposible realizar el movimiento de los datos por la cantidad de tiempo necesario para completar este proceso previo al análisis.

Por este motivo, lo que se suele realizar es una muestra de los datos, con lo que sólo podemos obtener una estimación del resultado final, que se alejará de la realidad cuanto peor sea la muestra seleccionada, eso si no se abandona el proceso por ser imposible de realizar.

Es aquí donde Netezza y ESRI se alían para encontrar una solución al problema. Cuando el líder en data-warehouse analíticos y el líder en soluciones GIS se juntan, ¡sólo pueden suceder cosas sorprendentes!

Así pues, ¿qué es lo que significa este anuncio? Intentaré explicarlo respondiendo a algunas preguntas sencillas:

¿Qué sucede con los datos geo-espaciales, están soportados en Netezza?

Sí, Netezza es capaz de almacenar datos espaciales, puesto que incorpora la especificación Open Geospatial Consortium Simple Feature Specification. Así, Netezza es capaz de almacenar y entender de forma nativa datos espaciales: puntos, líneas, polígonos, multipuntos, multilíneas, multipolígonos...

¿Qué sucede con las Funciones Espaciales?

En Netezza se incluyen en la actualidad del orden de 90 funciones espaciales, que se ejecutan como comandos SQL, pero además haciendo un uso eficiente de la arquitectura de procesamiento masivo paralelo de Netezza. En versiones posteriores, se ampliará el número y la complejidad de dichas funciones

¿Funciona sólo con ESRI?
No solo con ESRI, puesto que se trata de una implementación de un estándar, por lo que funciona con cualquier GIS que sea compatible con dicho estándar, incluyendo productos opensource. Lo que sucede es que la relación con ESRI es más estrecha que con otros fabricantes.

¿Porqué es tan especial esta relación con ESRI?

La relación entre ESRI y Netezza e IBM está asentada desde hace tiempo, donde ESRI soporta Netezza como fuente de datos e incluso proporciona un conector nativo para Netezza en sus productos (ArcView, ArcCatalog, etc.).

De acuerdo, pero, ¿Cuál es el coste de todo esto?

No hay coste adicional algunono. Las capacidades espaciales de Netezza se incluyen en el paquete Analytics, y Analytics está incluido, sin ningún coste extra, en Netezza. Al comprar Netezza, se compra el paquete completo, está todo incluido (excepto las licencias de ESRI o del GIS que se quiera hacer uso, por supuesto): Analytics y Spatial. No hay costes ocultos, no hay sorpresas

Pero, ¿Qué es lo que ESRI e IBM-Netezza están anunciando?

Un avance muy interesante en el análisis de datos geoespaciales. Hasta el momento, ESRI o cualquier otro GIS que use Netezza como repositorio de datos obtendrá ventajas en cuanto al superior rendimiento que ofrece Netezza frente al resto de datawarehouses analíticos del mercado, obteniendo unas velocidades de respuesta increíblemente rápidas. Pero, en este caso, lo que se anuncia es la inclusión de varias de las librerías de ESRI dentro del paquete de Analytics de Netezza. De este modo, en lugar de tener que extraer los datos del data-warehouse para luego analizarlos en el servidor que contiene el software de ESRI, lo que conseguimos es que una parte importante de esos cálculos complejos se realicen internamente en Netezza, de forma "in-database", ya que Netezza contendrá esta funcionalidad de análisis que de otro modo ESRI debía ejecutar en un sistema externo. Al fin y al cabo Netezza es de algún modo un supercomputador de procesamiento en paralelo, así que, ¿porqué no sacar ventaja de esta arquitectura y así obtener directamente los resultados en lugar de los datos a analizar? Y lo que es mucho más interesante todavía: sin ningún coste adicional.

Para más información, se puede descargar un paper describiendo Spatial en mayor detalle siguiendo este enlace, donde hay que registrarse, aunque es gratis.

¿Impresionante? Bueno, si queréis que Netezza os impresiones de verdad, podéis pedir una prueba de concepto para llevar una máquina a vuestro CPD y realizar tests con vuestros propios datos y con vuestras consultas reales, sin compromiso. Basta con llamar a vuestro representante de IBM más cercano (o si estás en USA mediante el siguiente enlace puedes solicitar que se pongan en contacto con vosotros).

Tus datos, tus instalaciones, nuestro appliance (eso es lo que decimos en Netezza).

Recuerdos de Sun

Durante el tiempo que trabajé en Sun, pude coleccionar una serie de objetos identificados con la marca de Sun. Creo que incluso muchos de nuestros clientes venían a los eventos que organizábamos sólo para conseguir algunas de las archifamosas tazas de Sun, empezando por la clásica taza Java

Tazas contra la "locura tecnológica"

Y por supuesto las tazas realizadas localmente para la edición de la Java Expo

La otra taza de la foto es de una campaña genérica con el logo de "Conecta 2"

Otra pieza muy curiosa es este par de tazas de promoción de la campaña "Mainframe Rehosting" programa de Sun que intentó atraer clientes de mainframe de IBM a la órbita de Sun (sin ningún éxito, por cierto), pero las tazas son magníficas (igual que los mainframes...)

Otra taza que me encanta es ésta, de StorageTek, que incluye una base anti-deslizante y guarda el calor para mantener tu café calentito

Una colección curiosa, como podéis ver

Otro día quiero hacer un post con la colección de camisetas de Sun (había compañeros que decían que Sun era una tienda de ropa y complementos en realidad...) Para terminar el post, incluyo otra de las piezas más curiosas de Sun en cuanto a merchandising, el Sun-car:

Bueno, en realidad es más pequeño de lo que parece, pero es bastante útil:

Espero que os haya gustado.

Marathon Woman.

En muchas de las empresas para las que he trabajado, mis compañeros han estado atentos a su forma física, y a algunos de ellos les encanta correr, llegando incluso a participar de forma regular en carreras populares y maratones para aficionados.
En IBM las cosas son diferentes: como todo lo que hacemos en IBM, lo hacemos muy en serio, tanto que mis compañeros se toman lo de correr como auténticos profesionales. Aquí tenéis un ejemplo, os presento a Pilar:

Pilar, entrenando son su marido Galo

Pero Pilar no sólo se dedica a correr maratones, es una de mis compañeras de trabajo (de las más ocupadas y trabajadoras) además de madre de familia, una persona que realmente admiro por su capacidad para hacer todo lo que hace, llena de energía y de optimismo. Podéis seguir a Pilar a través de su blog, allí descubriréis cómo se está preparando para correr el maratón de Nueva York (es capaz de encontrar tiempo para acudir a las reuniones en la oficina, hacer las presentaciones con su patrocinador, entrenarse para el maratón y por supuesto dedicar tiempo a la familia, ¡simplemente impresionante!). Y no sólo eso, después de Nueva York se va a ir a competir en EL MARATÓN: el ¡maratón de Atenas! De verdad que la envidio.
¡Vamos Pilar, estamos contigo!

Dennis M. Ritchie (1941 - 2011)

Estos días hemos vivido con sorpresa la muerte de una de las personalidades más carismáticas de la industria IT, y además uno de los personajes más mediáticos a nivel mundial, reconocido por haber cambiado los hábitos de medio planeta y de llevar, en cierto modo, la tecnología a las masas. En efecto, estoy hablando de Steve Jobs. Pero no ha sido la única gran pérdida que hemos sufrido estos días. Hemos perdido uno de los hombres que hicieron posible el sueño de Steve Jobs, estoy hablando de Dennis MacAlistair Ritchie.

No voy a discutir quién de los dos era más importante, Jobs o Ritchie. Opino que sin hombres como Jobs la tecnología, tal y como la disfrutamos hoy, no se habría difundido tan ampliamente y personas como Ritchie no serían posibles; y sin los Ritchies del mundo no sería posible ningún avance científico o en el mundo de la informática, con lo que no existirían los Jobs capaces de ilusionar a los consumidores con dispositivos fantásticos. Así que ambos tienen su papel en el negocio, y ninguno debe ser subestimado. Pero, como Jobs ha recibido toda la atención hasta ahora, creo que Ritchie se merece un pequeño reconocimiento por mi parte.

Es probable que una persona que lea habitualmente este blog ya sepa quién era Dennis Ritchie y conozca su trabajo, así que me limitaré a destacar sus dos más importantes contribuciones, al menos las que más impacto han tenido en el mundo de la informática.

La primera de ellas es la creación, junto al equipo con el que trabajaba en los laboratorios Bell (otros genios como Thomson, Kernigan, McIllroy and Ossanna), del sistema operativo Unix. La primera implementación de Unix se realizó sobre un PDP-7, una máquina de Digital, escrito completamente en código máquina.

Como ésta era una máquina relativamente poco potente, pidieron permiso para portar el Unix que habían creado a una máquina más potente, una PDP-11. Aunque esta primera adaptación se hizo también en código máquina, muy pronto re-escribieron la mayor parte del core del sistema operativo en lenguaje C, un lenguaje de programación desarrollado por completo por Dennis Ritchie entre 1969 y 1973.

Este paso fue muy importante: probaron que un sistema operativo podia ser escrito en un lenguaje de alto nivel (aunque habían existido intentos anteriores, no fueron tan exitosos como éste). La primera ocnsecuencia es que el desarrollo del sistema operativo se simplificó notablemente, así como el añadir nuevas características al sistema. No sólo eso, la tarea de portar el sistema operativo a cualquier otro computador se simplificaba muchísimo, ya que con algunos pequeños cambios bastaba con recompilar el código fuente en la máquina final donde se quisiera ejecutar Unix.

El resto ya es historia. Unix se desarrolló ampliamente fuera de los Bell Labs, y hoy en día se puede considerar como el soporte de Internet, ya que la mayoría de servidores de Internet (y una gran parte de servidores empresariales fuera de Internet, como Netezza por ejemplo) funcionan con alguna variante de Unix (AIX, Solaris, HP-UX), o de sus clones como Linux (ya sabéis el significado de Linux: Linux Is Not UniX, aunque claramente se inspiró en Unix). Incluso en el mercado de consumo podemos encontrarnos con ejemplos de uso de Unix: Los sistemas opertivos que Apple usa en los iPhone, iPad, MacBooks... están todos basados en Unix.

Y qué decir del lenguaje C. Hasta la llegada de Java (y sin contar con C++, que algunos consideran como una variante de C) era el lenguaje de programación más usado del mundo, con presencia casi ubícua, incluso en la mayoría de variantes de Windows y sus aplicaciones. Y además sigue en forma, ya que ocupa en la actualidad la segunda posición de este peculiar ranking de lenguajes más utilizados, muy cerca de la primera posición.

En resumen, Internet, la industria IT, el mundo de los computadores, no sería tal y como lo conocemos hoy si no fuera por Dennis Ritchie.
Gracias Dennis.

Un par de pensamientos adicionales: Por supuesto Jobs hizo un gran trabajo en esa tarea de difundir la tecnología creada por los Ritchies del mundo, como ya he dicho. Sólo un par de reflexiones acerca del propio Jobs. Un enlace a su famosa frase "los grandes artistas copian, los genios roban", por cierto, "robada" de Picasso... y probablemente  malinterpretada también. Y una recomendación para los cinéfilos, "Pirates of Silicon Valley". Quiás no sea una obra maestra del cine, pero, en mi opinión, muestra muy bien los inicios y las personalidades de Jobs, y, en segundo plano, de Bill Gates.