Data_engineering Aws ETL com Apache Airflow, Web Scraping, AWS S3, Apache Spark e Redshift | Parte 1 Nesse post irei apresentar como utilizar o Apache Airflow, uma das mais conhecidas ferramenta para gerenciamente de fluxos, para automatizar um fluxo de Extração, Transformação e Carregamento do inglês Extract, Transform, Load (ETL).
Data_engineering Data_science Spark Conhecendo o ecossistema Spark Spark é uma ferramenta para processamento distribuído e o maior projeto open source voltado para o processamento de dados do momento. Ele faz parte do ecossitema Hadoop, ou seja, pode ser utilizado rodando