Resumen
Este proyecto desarrollará una plataforma de código abierto para permitir la computación sin servidor (serverless) para aplicaciones
científicas en el continuo de la nube (cloud continuum), es decir, admitirá simultáneamente tanto la computación en el borde como las
nubes locales (on-premise) y públicas. La plataforma se centrará en el modelo de computación FaaS (dirigido por eventos), con requisitos
específicos como dispositivos aceleradores (GPU o FPGA) o entornos de ejecución segura. También abordará la redistribución dinámica
de cargas de trabajo para la ejecución eficiente de flujos de trabajo orientados a funciones de proceso de datos en plataformas
heterogéneas.
El proyecto contribuirá a mejorar el apoyo a la computación serverless acelerada para aplicaciones científicas. En primer lugar, esto
implica la compatibilidad entre diferentes proveedores de infraestructuras seguras de nube híbrida mediante el uso de redes definidas por
software (SDN) para proporcionar segmentos de red aislados. En segundo lugar, esto requiere el aprovisionamiento oportunista de
recursos en plataformas FaaS capaces de escalar los recursos a cero para minimizar el consumo de recursos y energía en cargas de
trabajo dinámicas. En tercer lugar, soportaremos cargas computacionales de alto rendimiento en infraestructuras sin servidor. Esto
requerirá disponer sistemas de archivos distribuidos compartidos para plataformas FaaS públicas como AWS Lambda, a fin de superar
las limitaciones actuales. Además, se proporcionará la capacidad de integrar dispositivos hardware acelerados desde plataformas FaaS
locales, ya sea a través de PCI Passthrough o utilizando GPU remotas a través de RCUDA para lograr una alta escalabilidad. En cuarto
lugar, nuestro objetivo será soportar la ejecución impulsada por eventos de procesos paralelos sobre MPI, para proporcionar un puente
entre la computación sin servidor y la supercomputación.
Una vez mejorados los bloques básicos, el proyecto abordará el procesamiento de datos dirigido por eventos en el continuo de la nube.
En primer lugar, se mejorará la computación sin servidor en el borde (edge computing) al proporcionar soluciones automatizadas (CI / CD)
para la creación de imágenes de contenedores de los componentes de la plataforma FaaS, pudiendo ejecutarse en dispositivos de bajo
consumo como Raspberry Pi. En segundo lugar, se definirá un lenguaje de flujos de funciones basado en datos (FDL) para todo el
contínuo Cloud, gestionando la ejecución en nubes públicas, locales e híbridas, incluyendo dispositivos aceleradores basados en GPUs,
usando una plataforma de código abierto. Se logrará un consumo de energía reducido y una asignación de recursos eficiente. Por último,
se abordará la programación de llamadas FaaS con requisitos especiales (como funciones de GPU y entornos de ejecución de
confianza), maximizando la localidad de referencia de los datos en nubes híbridas.
Esta plataforma abierta se alineará con la visión de la European Open Science Cloud y la iniciativa GAIA-X y podrá aprovisionar recursos
en el EGI Federated Cloud. Se promoverá su inclusión en el EOSC Marketplace para una mayor visibilidad. La plataforma se evaluará a
través de varios casos de uso que implican la ejecución de escenarios FaaS de IoT para ciudades inteligentes y sector de automoción, el
procesamiento acelerado de datos biomédicos en plataformas públicas sin servidor y, finalmente, el procesamiento de datos
geoespaciales en nubes híbridas.
