IBM-Netezza y ESRI: Análisis de datos Geoespaciales

Desde hace bastante tiempo he seguido el mundo de los SIG (o GIS, sistemas de información geográfica, en sus siglas en inglés) y sus aplicaciones. Hoy en día el principal fabricante es ESRI, gracias a sus productos innovadores y a su comprensión acertada de las necesidades de sus clientes. Esta es una de las razones por las que el anuncio hecho en octubre por Esri e IBM-Netezza es tan relevante. Trataré de explicar aquí porqué y qué es lo que realmente significa.

Uno de los retos de los sistemas que manejan información geográfica es el analizar adecuadamente esta información a partir de que alcanza un tamaño considerable, lo cual es muy fácil cuando hablamos de datos geográficos y queremos relacionarlos con otro tipo de datos sobre los que queremos realizar análisis. Mientras las bases de datos actuales son capaces de almacenar tantos terabytes como sea necesario y el coste del almacenamiento no hace mas que descender, el problema llega cuando queremos realizar procesos de análisis de esos datos, ya que la potencia de cálculo necesaria hace que muchos de estos trabajos sean inviables, por no hablar de que en muchas ocasiones ya resulta imposible realizar el movimiento de los datos por la cantidad de tiempo necesario para completar este proceso previo al análisis.

Por este motivo, lo que se suele realizar es una muestra de los datos, con lo que sólo podemos obtener una estimación del resultado final, que se alejará de la realidad cuanto peor sea la muestra seleccionada, eso si no se abandona el proceso por ser imposible de realizar.

Es aquí donde Netezza y ESRI se alían para encontrar una solución al problema. Cuando el líder en data-warehouse analíticos y el líder en soluciones GIS se juntan, ¡sólo pueden suceder cosas sorprendentes!

Así pues, ¿qué es lo que significa este anuncio? Intentaré explicarlo respondiendo a algunas preguntas sencillas:

¿Qué sucede con los datos geo-espaciales, están soportados en Netezza?

Sí, Netezza es capaz de almacenar datos espaciales, puesto que incorpora la especificación Open Geospatial Consortium Simple Feature Specification. Así, Netezza es capaz de almacenar y entender de forma nativa datos espaciales: puntos, líneas, polígonos, multipuntos, multilíneas, multipolígonos...

¿Qué sucede con las Funciones Espaciales?

En Netezza se incluyen en la actualidad del orden de 90 funciones espaciales, que se ejecutan como comandos SQL, pero además haciendo un uso eficiente de la arquitectura de procesamiento masivo paralelo de Netezza. En versiones posteriores, se ampliará el número y la complejidad de dichas funciones

¿Funciona sólo con ESRI?
No solo con ESRI, puesto que se trata de una implementación de un estándar, por lo que funciona con cualquier GIS que sea compatible con dicho estándar, incluyendo productos opensource. Lo que sucede es que la relación con ESRI es más estrecha que con otros fabricantes.

¿Porqué es tan especial esta relación con ESRI?

La relación entre ESRI y Netezza e IBM está asentada desde hace tiempo, donde ESRI soporta Netezza como fuente de datos e incluso proporciona un conector nativo para Netezza en sus productos (ArcView, ArcCatalog, etc.).

De acuerdo, pero, ¿Cuál es el coste de todo esto?

No hay coste adicional algunono. Las capacidades espaciales de Netezza se incluyen en el paquete Analytics, y Analytics está incluido, sin ningún coste extra, en Netezza. Al comprar Netezza, se compra el paquete completo, está todo incluido (excepto las licencias de ESRI o del GIS que se quiera hacer uso, por supuesto): Analytics y Spatial. No hay costes ocultos, no hay sorpresas

Pero, ¿Qué es lo que ESRI e IBM-Netezza están anunciando?

Un avance muy interesante en el análisis de datos geoespaciales. Hasta el momento, ESRI o cualquier otro GIS que use Netezza como repositorio de datos obtendrá ventajas en cuanto al superior rendimiento que ofrece Netezza frente al resto de datawarehouses analíticos del mercado, obteniendo unas velocidades de respuesta increíblemente rápidas. Pero, en este caso, lo que se anuncia es la inclusión de varias de las librerías de ESRI dentro del paquete de Analytics de Netezza. De este modo, en lugar de tener que extraer los datos del data-warehouse para luego analizarlos en el servidor que contiene el software de ESRI, lo que conseguimos es que una parte importante de esos cálculos complejos se realicen internamente en Netezza, de forma "in-database", ya que Netezza contendrá esta funcionalidad de análisis que de otro modo ESRI debía ejecutar en un sistema externo. Al fin y al cabo Netezza es de algún modo un supercomputador de procesamiento en paralelo, así que, ¿porqué no sacar ventaja de esta arquitectura y así obtener directamente los resultados en lugar de los datos a analizar? Y lo que es mucho más interesante todavía: sin ningún coste adicional.

Para más información, se puede descargar un paper describiendo Spatial en mayor detalle siguiendo este enlace, donde hay que registrarse, aunque es gratis.

¿Impresionante? Bueno, si queréis que Netezza os impresiones de verdad, podéis pedir una prueba de concepto para llevar una máquina a vuestro CPD y realizar tests con vuestros propios datos y con vuestras consultas reales, sin compromiso. Basta con llamar a vuestro representante de IBM más cercano (o si estás en USA mediante el siguiente enlace puedes solicitar que se pongan en contacto con vosotros).

Tus datos, tus instalaciones, nuestro appliance (eso es lo que decimos en Netezza).