Data engineering project using Azure, Databricks and ADLS
17/08/2026 às 11:23Descrição do Projeto:
The freelancer must meet the following requirements.
Responsibilities
- Delivered freelance data engineering solutions using Azure Databricks, Azure Data Lake, and Lakehouse architectures.
- Designed and implemented Delta Lake solutions, including Delta Live Tables (DLT).
- Developed ELT pipelines using Azure Data Factory, Databricks Auto Loader, Notebooks, and Azure Synapse Copy Activities and Data Flows.
- Built metadata-driven pipelines with dynamic logic and reusable data processing frameworks.
- Worked with Azure Data Lake Storage (ADLS) and Azure Serverless SQL Pool for scalable data storage and querying.
- Performed data transformation using Apache Spark and SQL.
- Applied cloud design patterns and best practices to improve scalability, maintainability, and performance.
- Managed source code and collaborative development workflows using Git.
- Troubleshot and optimized ETL workflows, data pipelines, and integration processes.
- Worked with Azure Databricks and Azure Synapse features, architecture, and capabilities.
- Implemented Azure DevOps workflows and supported CI/CD practices for data solutions.
- Performed data profiling, validation, cleansing, and quality checks across multiple data sources.
- Developed Power BI reports and dashboards, including DAX measures and calculations.
Requirements / Technical Skills
- Azure Databricks Lakehouse and Azure Data Lake concepts.
- Delta Lake and Delta Live Tables (DLT).
- Azure Data Factory and Databricks Auto Loader.
- Databricks Notebook scripting and Azure Synapse Copy Activities/Data Flows.
- Metadata-driven pipeline architecture and dynamic data processing.
- Azure Data Lake Storage (ADLS) and Azure Serverless SQL Pool.
- Apache Spark and SQL for large-scale data transformation.
- Cloud architecture, design patterns, and best practices.
- Git and version control.
- ETL/ELT troubleshooting and pipeline optimization.
- Azure Databricks and Azure Synapse architecture and capabilities.
- Azure DevOps and CI/CD processes.
- Data profiling, validation, cleansing, and quality management.
- Power BI reporting and DAX.
Habilidades desejadas:
Atividades do cliente nesse projeto:
Última visualização: 17/08/2026 às 11:37
Tem dúvidas? Faça uma pergunta.
ou
Informações adicionais
| Categoria: | Web, Mobile & Software |
|---|---|
| Subcategoria: | Outra - Web, Mobile & Software |
| Orçamento: | Aberto |
| Nível de experiência: | Intermediário |
| Visibilidade: | Público |
| Propostas: | 23 |
| Interessados: | 26 |
| Tempo restante: | |
| Valor Mínimo: | R$ 50,00 |
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
Arquitetura de software para MVP de sistema ERP - Preciso de um(a) arquiteto(a) de software / consultor(a) técnico(a) para estruturar o MVP de um sistema ERP que já tem módulos básicos desenvolvidos. O que preciso: - D...
Desenvolvimento de mod menu Android e sistema de licenciamento - Desenvolvedor Android / Game Modding - Rio Rise RP Procuro desenvolvedor experiente para um projeto relacionado ao Rio Rise RP, envolvendo o desenvolvimento de um aplicativo/mod menu Android e um ...
Ajustes em bot do Telegram - Preciso de um programador para fazer alguns ajustes em um bot de Telegram que encaminha mensagens. Preciso que seja por um valor acessível.
Operação de impressora 3D (Ribeirão Preto/SP) - Estamos buscando um profissional freelancer com experiência em impressão 3D para realizar um trabalho. O profissional será responsável por operar nossa impressora 3D, au...
Bot para replicar alertas de grupo no Telegram - Preciso de um bot para a Betfair Exchange que replique os alertas enviados por um grupo no Telegram e faça as apostas no site da Betfair Exchange automaticamente.
