Description

Airflow es una plataforma para programar, programar, monitorear y monitorear las líneas de datos.

Usar Airflow para crear flujos de trabajo como gráficos acíclicos dirigidos (DAG) de tareas. El programador de flujo de aire ejecuta sus tareas en una matriz de trabajadores mientras sigue las dependencias especificadas. Las utilidades de líneas de comando enriquecidas hacen que la realización de cirugías complejas en DAG sea un complemento. La rica interfaz de usuario facilita la visualización de las tuberías que se ejecutan en la producción, el monitoreo del progreso y la resolución de problemas cuando es necesario ....

Principles

Dinámico: las tuberías de flujo de aire se configuran como código (Python), lo que permite la generación dinámica de tuberías. Esto permite escribir código que ejemplifica dinámicamente las tuberías. Extensible: defina fácilmente sus propios operadores, ejecutores y extienda la biblioteca para que se adapte al nivel de abstracción que se adapta a su entorno. Elegante: las tuberías de flujo de aire son simples y explícitas . La parametrización de sus scripts está integrada en el núcleo de Airflow mediante el potente motor de plantillas de Jinja. Escalable: Airflow tiene una arquitectura modular y utiliza una cola de mensajes para hablar y organizar un número arbitrario de trabajadores. El flujo de aire está listo para escalar hasta el infinito.

Categorías