Big Data: La revolución de los datos
El Boletín DECYTI n° 48 ofrece una mirada al tema del Big Data, convocando a especialistas a que nos ayuden a entender el fenómeno que la ONU ha llamado la “Revolución de los Datos”. En la Editorial, el Director de DECYTI, Embajador Gabriel Rodríguez, se refiere al Big Data desde la perspectiva de la Astronomía, enfatizando la enorme oportunidad que tiene Chile en esta materia.
Las TIC están dando lugar a un aumento exponencial del volumen y los tipos de datos disponibles, creando posibilidades sin precedentes para lograr grandes avances en muchas disciplinas científicas, aportes a la innovación y mejoras de productividad y competitividad.
Este caudal de datos, llamado Big Data, es decir, la producción masiva de datos que supera la capacidad de las instituciones de manejarlos y de los investigadores de entenderlos, presenta grandes desafíos. Para ser capaz de extraer información desde grandes volúmenes de datos se requiere de nuevos algoritmos, estructuras, formas de almacenamiento, lenguajes, heurísticas y otros para su solución.
En la misma línea, el Sr. Juan Rada, Presidente del Programa de Industrias Inteligentes de CORFO, se refiere al Big Data como al Big Change, un torrente de datos que requiere un tratamiento más complejo usando diferentes técnicas y modelamientos. Por su parte, los profesores Servet Martínez y Jaime San Martín, del Centro de Modelamiento Matemático de la Universidad de Chile, comentan acerca de los desafíos e implicancias de la Computación de Alto Rendimiento (HPC) para abordar el Big Data, a través de la llamada Data Science, cubriendo las necesidades de almacenamiento, análisis, modelación y síntesis de grandes volúmenes de datos y su interrelación. Sergio Scarabino, Representante para América del Sur de la Unión Internacional de las Telecomunicaciones (UIT), organismo especializado de la ONU para las TIC, comenta la norma sobre Big Data aprobada a fines de 2015 por los países miembros. En esta norma internacional se detallan los requisitos, las capacidades y casos de utilización de los Big Data basados en la nube, que permiten que los datos sean manejables y aprovechables, entendiendo que el Big Data requerirá interfaces normalizadas, reto que exige asociaciones y alianzas internacionales.
Profesores Servet Martínez y Jaime San Martín, CMM-Uchile: «La carerra por la Computación de Alto Rendimiento (HPC) ha sido llamada la nueva carrera espacial»
El Laboratorio Nacional de Computación de Alto Desempeño (NLHPC) es una iniciativa que lidera el Centro de Modelamiento Matemático (CMM) de la Facultad de Ciencias Físicas y Matemáticas (FCFM) de la Universidad de Chile, que instaló hace dos años, Leftraru, el computador más grande de Chile para hacer Data Science, el que fue financiado por el programa de Equipamiento Mayor de CONICYT. Está iniciativa es posible gracias a la asociación de las universidades y centros que lideran la investigación científica en Chile: Universidad de Chile, Universidad Católica del Norte, Universidad Federico Santa María, Pontificia Universidad Católica de Chile, Universidad de Santiago de Chile, Universidad de Talca, Universidad Austral de Chile, Universidad de Atacama, Universidad de Concepción, Universidad de La Serena, Universidad del Bío Bío, Universidad Católica del Maule, Pontificia Universidad Católica de Valparaíso, Universidad de La Frontera, INRIA Chile, Centro Interdisciplinario de Neurociencia de Valparaíso (CINV) y Fundación Ciencia y Vida (FCV). La carrera por el HPC (del inglés High Performance Computing) ha sido llamada la nueva carrera espacial. Los países desarrollados invierten grandes recursos en mantener su vigencia en este tema. Las necesidades (civiles) son muy amplias y cubren predicciones en meteorología o economía, y aplicaciones de ciencia básica como es el caso de bioinformática o astroinformática. En la industria juega un rol fundamental en los diseños de ingeniería complejos, el marketing personalizado, buscadores de internet y en estudios de las redes sociales. El almacenamiento, análisis, modelación y síntesis de grandes volúmenes de datos y su interrelación es el centro del problema. Desde el punto de vista tecnológico es bueno mirar qué pasa con los top 500, la lista de los 500 computadores más poderosos del mundo. Este año, por primera vez, EEUU perdió la supremacía, siendo China el nuevo líder en el HPC. De hecho, los dos primeros computadores de esta lista son chinos y representan casi el 13% del poder de computo de toda la lista. En términos de capacidad de supercomputo los grandes lideres son: China 37%, EEUU 30.5%, Japón 7%, Alemania 5.5%, Francia 3.9%, Reino Unido 3.5%. El único país latinoamericano con presencia en este ranking es Brasil, con 4 computadores que equivalen al 0.1% de la capacidad mundial. Para tener una referencia, Leftraru es 30 veces más pequeño que la capacidad instalada en Brasil y a su vez es 5 veces más pequeño que el último computador de la lista mencionada. Leftraru está instalado en la FCFM, la que tiene una larga tradición en el uso de la computación científica y sus aplicaciones, desde la incorporación del famoso IBM360. Hoy en día los desafíos son de tal magnitud que se requiere de la colaboración y de las capacidades a nivel nacional para organizar y dar sustentabilidad a una inversión de esta magnitud. En el estado de desarrollo actual un computador de estas características: 2800 cores, 50 TFlops de capacidad de cálculo; tiene sentido si su uso es nacional. Este es el desafío que tomó y lleva adelante el CMM, basado en su propia experiencia y usando las mejores prácticas internacionales con respecto al uso equitativo y trasparente de esta infraestructura, para el mayor beneficio de la ciencia nacional. Los desafíos e implicancias de la creación del NLHPC son múltiples: Potenciar las ciencias intensivas en simulación, exploración y análisis de grandes volúmenes de datos y darles competitividad internacional. Entre estas disciplinas están la astronomía, genómica, química computacional, meteorología y Leftraru es utilizado por cerca de 300 investigadores nacionales. Una consecuencia mayor para el país es que el NLHPC incentiva la cooperación universitaria, elemento básico en la concepción de trabajo del CMM.
Para nosotros, Chile entero tiene el volumen equivalente a una universidad competitiva a nivel mundial, tanto por el financiamiento que destinamos como país, como por su producción científica de calidad (sobre el financiamiento un ejercicio simple comparando a Chile con Iowa, nos da que este último Estado de EEUU, de 3 millones de habitantes, invierte al menos 4 veces lo que hace Chile). El uso de una infraestructura centralizada como esta requiere además de redes de alta velocidad, esfuerzo que las universidades han llevado a cabo a través de REUNA (Red Universitaria Nacional). El NLHPC ha sido clave para potenciar REUNA y la incorporación de nuevos socios a esta red. Desde el punto de vista tecnológico, el proyecto además impulso en Santiago la adecuación de una red fotónica: U. de Chile, PUC, USACH y REUNA. El NLHPC sirve además como contraparte para la cooperación internacional, clave para Chile que es un país en tránsito al desarrollo, por lo que debe poner contrapartidas. Esto incentiva además la inversión de actores internacionales en Chile y ser un interlocutor válido en el tema de la Data Science. Un desafío mayor para la sustentabilidad del proyecto, es la formación de especialistas de capacidades diversas en el ámbito del HPC, que son escasos en el país y que en el mundo son muy demandados lo que hace muy difícil su atracción y posterior retención. Para el CMM, el HPC ha jugado y juega un rol fundamental en la modelación y resolución de problemas industriales de punta. Son varios los especialistas en computación paralela, estadística, machine learning, entre otros, que forman parte de nuestros laboratorios, tales como Bioinformática de la minería y de recursos naturales (salmón, uva). Minería de tiempo real, uso de sensores, análisis de riesgo. Un denominador común a nuestra manera de enfrentar estos desafíos son la modelación matemática, el análisis de grandes volúmenes de datos, la simulación de sistemas multidimensionales y en tiempo real. En los dos últimos años hemos dedicado esfuerzos para atraer e incorporar al NLHPC, algunas agencias del Estado. Es así como ya podemos contar con algunos casos de éxito en colaboración con la Agencia de Calidad de la Educación, el MOP y el Servicio Meteorológico de Chile. Para ello nos inspiramos en las mejores prácticas internacionales, como lo es el KISTI en Corea, con quienes nos hemos visitado. Los desafíos de la computación científica de alto nivel tensa las capacidades científicas y técnicas del país, y el camino cooperativo que hemos construyendo es una contribución al desarrollo robusto, ambicioso y realista del país, insertado en una aventura que está impactando todas las actividades del ser humano.
Para leer el boletín completo click aquí
Fuente: Boletín Decyti 48 Big Data del Ministerio de Relaciones Exteriores del Gobierno de Chile