Data engineering project using Azure, Databricks and ADLS
hoje às 11:23Descrição do Projeto:
The freelancer must meet the following requirements.
Responsibilities
- Delivered freelance data engineering solutions using Azure Databricks, Azure Data Lake, and Lakehouse architectures.
- Designed and implemented Delta Lake solutions, including Delta Live Tables (DLT).
- Developed ELT pipelines using Azure Data Factory, Databricks Auto Loader, Notebooks, and Azure Synapse Copy Activities and Data Flows.
- Built metadata-driven pipelines with dynamic logic and reusable data processing frameworks.
- Worked with Azure Data Lake Storage (ADLS) and Azure Serverless SQL Pool for scalable data storage and querying.
- Performed data transformation using Apache Spark and SQL.
- Applied cloud design patterns and best practices to improve scalability, maintainability, and performance.
- Managed source code and collaborative development workflows using Git.
- Troubleshot and optimized ETL workflows, data pipelines, and integration processes.
- Worked with Azure Databricks and Azure Synapse features, architecture, and capabilities.
- Implemented Azure DevOps workflows and supported CI/CD practices for data solutions.
- Performed data profiling, validation, cleansing, and quality checks across multiple data sources.
- Developed Power BI reports and dashboards, including DAX measures and calculations.
Requirements / Technical Skills
- Azure Databricks Lakehouse and Azure Data Lake concepts.
- Delta Lake and Delta Live Tables (DLT).
- Azure Data Factory and Databricks Auto Loader.
- Databricks Notebook scripting and Azure Synapse Copy Activities/Data Flows.
- Metadata-driven pipeline architecture and dynamic data processing.
- Azure Data Lake Storage (ADLS) and Azure Serverless SQL Pool.
- Apache Spark and SQL for large-scale data transformation.
- Cloud architecture, design patterns, and best practices.
- Git and version control.
- ETL/ELT troubleshooting and pipeline optimization.
- Azure Databricks and Azure Synapse architecture and capabilities.
- Azure DevOps and CI/CD processes.
- Data profiling, validation, cleansing, and quality management.
- Power BI reporting and DAX.
Habilidades desejadas:
Atividades do cliente nesse projeto:
Última visualização: hoje às 11:37
Tem dúvidas? Faça uma pergunta.
ou
Informações adicionais
| Categoria: | Web, Mobile & Software |
|---|---|
| Subcategoria: | Outra - Web, Mobile & Software |
| Orçamento: | Aberto |
| Nível de experiência: | Intermediário |
| Visibilidade: | Público |
| Propostas: | 10 |
| Interessados: | 13 |
| Tempo restante: | |
| Valor Mínimo: | R$ 50,00 |
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
Adaptar sistema de sinais do Telegram para página web - Procuro programador para pegar um sistema já pronto que envia sinais pelo Telegram e adaptar para que os sinais passem a aparecer em uma página web, mantendo o funcionamento atual. Po...
Recrutamento de 20 Testadores Reais para Teste Fechado — FoneTrack - Olá, freelas! Estou buscando um **freelancer ou equipe especializada em recrutamento e testes de aplicativos Android** para me ajudar a concluir a fase de **Teste Fechado (Closed Testing) d...
Bot para grupos do WhatsApp integrado a anúncios e pesquisas - Preciso de um bot para grupos do WhatsApp que integre com campanhas do Meta e do Google Ads e realize pesquisas em sites e no Google. O objetivo é permitir que qualquer usuário do gru...
Editor de vídeos em massa e agendamento para redes sociais - Quero desenvolver um programa baseado em duas aplicações que encontrei na internet, usando-as como referência para reproduzir suas funcionalidades. A primeira seria uma ferrame...
Script Python para extração, normalização e tipagem de dados - Script em Python que recebe um arquivo e transforma os dados em facts tipados e KPIs calculados. O script tem que: - Extrair e normalizar as linhas. - Tipar cada fact pela estrutura do plano de co...
