Diego Rodríguez, Ingeniero de Desarrollo de Fundación Data Observatoy (DO), acaba de publicar un estudio en la revista internacional de software IEEE. La publicación constituye un experience report acerca de la metodología utilizada en el proyecto ALeRCE, que el DO ejecuta junto al Instituto Milenio de Astrofísica y el Centro de Modelamiento Matemático CMM.
ALeRCE (Automatic Learning for the Rapid Classification of Events) fue creado en 2017 como una colaboración interinstitucional entre el Instituto Milenio de Astrofísica (MAS) y el Centro de Modelamiento Matemático (CMM).
A ellos se unió la fundación Data Observatory (DO) en 2020, y la Universidad de Concepción (UdeC) y la Universidad Mayor en 2022, además de sumar a investigadores de más de 20 instituciones nacionales y extranjeras desde sus inicios.
Para Diego Rodríguez, “la gran motivación de esta publicación responde a una dinámica propia de ALeRCE, con equipos temporales de estudiantes de pregrado y postgrado, que realizan diversos desarrollos que dificultan su seguimiento y mantención en el largo plazo. La idea de este estudio es contribuir con una metodología y estandarizar los procesos de desarrollo y la continuidad del ciclo de vida de estos proyecto”.
El estudio identifica “fractales”, componentes que muestran elementos de procesamiento y datos que quedan representados en una especie de “cajas negras de procesamiento”.
El paper, titulado “Toward Fractal Development of Data Processing-Intensive Artificial Intelligence Systems”, responde a la creciente complejidad en el desarrollo de los sistemas de ALeRCE, que involucra a diversos equipos que desarrollan productos con un enfoque orientado a resultados, pero que con el tiempo causan problemas de complejidad al momento de mantenerlos y un tech stack demasiado amplio para la capacidad del equipo en un momento dado.
La metodología del trabajo consiste en 3 fases que responden a los principios de identificación de un step, creación del step y despliegue de step.
En el primer principio, cumpliendo con el trade-off entre la reusabilidad y complejidad de un step, se decide cuál será la lógica de procesamiento para dicho step. Los steps se pueden conectar entre sí, pero no necesariamente tener dependencias directas, sino más bien siguiendo un patrón basado en eventos y que además pueden ser compuesto por otros step o “pipelines” internas (de ahí el término fractal). Solo como referencia, en ALeRCE existen 7 steps base.
En cuanto al principio de creación del step, este permite acceder a un framework que permita estandarizar el desarrollo y hacer plantillas base para las unidades fractales, creando APF (Alert Processing Framework) que tiene diferentes utilidades para la creación de steps y además se encarga internamente de realizar ciertas tareas de logging, métricas y monitoreo.
Finalmente, el principio de despliegue del step, que busca adoptar el ecosistema de contenedores, consiste en estandarizar el despliegue (ejecución o puesta en producción) de los step mediante contenedores y el uso de servicios de AWS como EKS (Elastic Kubernetes Service) para la administración de containers.
Para revisar la publicación de Diego Rodríguez en IEEE, ingrese en el sitio web: https://ieeexplore.ieee.org/document/9845491
