Em resumo, tenho escrito todas as minhas anotações em Markdown. Faço isso pois além da escrita ser simples, não me preocupo muito pouco com a formatação do documento, e mais com o conteúdo. O Markdown é versátil, então se for necessário converter para HTML é simples, se eu for publicar usando o Github Pages também será fácil. E no documento eu consigo inserir imagens, links externos, diagramas, "mermaid", referências a outros documentos do mesmo repositório e etc...
Afinal, o que são funções? 🤔 Se a gente fizer um paralelo com a etimologia da palavra "função", dá pra pensar em algo que expressa ou controla um comportamento – só que, no mundo da programação, isso rola por meio de código. Legal, né? Ou talvez até meio nerd, rs.
Eu gosto de pensar que funções são as ferramentas mágicas do desenvolvedor. Tipo aquela “caixa de ferramentas” onde você encontra tudo que precisa pra fazer magia com os dados. Quer somar colunas? Beleza. Transformar texto pra minúsculas? Fácil. Ordenar, calcular média, e até umas coisas mais avançadas? Tá tudo lá, prontinho pra usar. 🚀
Lidar com o dimensionamento de aplicativos PySpark nem sempre é uma tarefa fácil, especialmente quando estamos falando de processamentos em larga escala.
Antes de tudo, é fundamental entender que o número de nós (executores) tem um impacto significativo na escalabilidade do seu projeto.
No entanto, a escolha do tamanho ideal do cluster não depende apenas do tamanho dos dados. Outros fatores também precisam ser considerados, como o poder de processamento (CPU) e a memória disponível.
Ah, funções lambda... O que seriam elas? Nada mais, nada menos que funções sem nome! Isso mesmo, é tipo aquele colega que você conhece de vista, mas nunca sabe o nome. 🤷♀️
A ideia aqui é simples: elas são feitas para serem pequenas, rápidas e diretas ao ponto. Ou seja, são as "funções ninja" do Python. 🥷🐍
Enquanto em uma função regular você precisa de toda uma cerimônia — "declara, define, passa parâmetros, dá nome, e blá-blá-blá" — a lambda chega, resolve o que precisa e sai sem nem pedir crédito. Elegância pura.