No artigo anterior, vimos que existe uma relação fundamental no Apache Spark: Dados ↓ Partitions ↓ Tasks ↓ Parallelism ↓ Performance Também vimos que nem sempre os dados permanecem nas mesmas partições durante todo o processamento. Operações como: df . repartition (...

Source: [Dev.to](https://dev.to/renanpyd/como-aprendi-apache-spark-parte-4-shuffle-onde-a-performance-comeca-a-ficar-avancada-1e4g)

Sponsored