O que é pyspark.sql.context? 🎩✨
Quando comecei a trabalhar com Databricks, confesso que me senti como um terráqueo vendo um disco voador pela primeira vez. Era outro mundo, meu povo! 🌌
2024¶
O que é
Ah, relacionamentos no SQL?
Pense nisso como dramas de relacionamento, mas entre tabelas de dados! 😂 Vamos lá:
- Relacionamento de “Um pra Um” (1:1) Esse é aquele namoro exclusivo, onde cada item em uma tabela só pode estar com um único item em outra tabela. Nada de triangulo amoroso aqui!
Exemplo: Uma tabela de pessoas e uma tabela de carteira de identidade. Cada pessoa tem uma carteira, e cada carteira pertence a uma única pessoa. Bem monogâmico.
Como estudo em 2024
Em resumo, tenho escrito todas as minhas anotações em Markdown. Faço isso pois além da escrita ser simples, não me preocupo muito pouco com a formatação do documento, e mais com o conteúdo. O Markdown é versátil, então se for necessário converter para HTML é simples, se eu for publicar usando o Github Pages também será fácil. E no documento eu consigo inserir imagens, links externos, diagramas, "mermaid", referências a outros documentos do mesmo repositório e etc...
FuncoesPySpark
PySpark
Afinal o que são funções?
Afinal, o que são funções? 🤔 Se a gente fizer um paralelo com a etimologia da palavra "função", dá pra pensar em algo que expressa ou controla um comportamento – só que, no mundo da programação, isso rola por meio de código. Legal, né? Ou talvez até meio nerd, rs.
Eu gosto de pensar que funções são as ferramentas mágicas do desenvolvedor. Tipo aquela “caixa de ferramentas” onde você encontra tudo que precisa pra fazer magia com os dados. Quer somar colunas? Beleza. Transformar texto pra minúsculas? Fácil. Ordenar, calcular média, e até umas coisas mais avançadas? Tá tudo lá, prontinho pra usar. 🚀
Como os Aplicativos PySpark podem ser redimensionados.
Como Dimensionar Aplicativos PySpark de Forma Eficiente?
Lidar com o dimensionamento de aplicativos PySpark nem sempre é uma tarefa fácil, especialmente quando estamos falando de processamentos em larga escala.
Como fazer isso de modo mais eficiente?
Antes de tudo, é fundamental entender que o número de nós (executores) tem um impacto significativo na escalabilidade do seu projeto.
No entanto, a escolha do tamanho ideal do cluster não depende apenas do tamanho dos dados. Outros fatores também precisam ser considerados, como o poder de processamento (CPU) e a memória disponível.