Web scraping com armazenamento em banco de dados
11/08/2025 às 12:34Descrição do Projeto:
O objetivo é desenvolver uma aplicação em Python autônoma que acesse e extraia dados de relatórios de um sistema web, filtre os registros relevantes e armazene-os em um banco PostgreSQL, garantindo a consistência das informações.
Fluxo do processo
Acesso ao sistema
Site: onvio.com.br
Login: usuário e senha (não há verificação em duas etapas ou captcha).
As credenciais de teste serão fornecidas após o fechamento da proposta.
Acesso ao relatório
Link direto: https://app.gestta.com.br/#/sidebar/report/list
Selecionar o relatório TAREFAS AUTOMAÇÃO.
Exportar o relatório (o sistema já oferece opções nativas para CSV, HTML, PDF, Excel etc.).
Filtragem
Percorrer os registros exportados.
Verificar a coluna TAREFA - NOME.
Apenas manter no processamento os registros cujo nome esteja presente na lista DEPARA (lista cadastrada no banco PostgreSQL).
Processamento e armazenamento
Para os registros filtrados, inserir/atualizar no banco PostgreSQL (UPSERT).
Utilizar a coluna ID como chave primária. Se o ID já existir, atualizar; caso contrário, inserir novo registro.
Requisitos técnicos
Banco PostgreSQL simples, apenas para armazenar as informações de forma consistente (posteriormente será conectado a um dashboard).
Aplicação autônoma, sem interação do usuário, executada várias vezes ao dia via agendador de tarefas.
Em caso de erro, disparar um e-mail para endereço configurável.
O envio de e-mails será via Gmail, devendo haver variáveis configuráveis para servidor, porta, usuário e senha.
Observações
O código deve ser limpo e documentado para facilitar manutenção futura.
A entrega deve ser feita via arquivo .py e deve conter um README bem estruturado.
Para o banco de dados, como se trata de uma aplicação simples, basta enviar o SQL para criação do banco (ou arquivo) que eu subo ele na minha máquina local.
Fiz um vídeo curto com menos de 2 minutos com as informações da tela. Como a plataforma não permite anexar esse tipo de arquivo, segue um link para visualizá-lo pelo Google Drive:
https://drive.google.com/file/d/1UC4AQUp30i47LKqUTSdGwQuCiQOWAAAG/view?usp=sharing
Atividades do cliente nesse projeto:
Última visualização: 15/10/2025 às 18:00
Última interação: 11/08/2025 às 17:52
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
Criação de ambiente no Notion - Preciso de alguém especialista em Notion, com total domínio da ferramenta e de automações nativas! Preciso montar um ambiente no Notion que será compartilhado co...
Software de gestão de compras - multiusuários - Olá, preciso de um desenvolvedor para criar um software de gestão de compras com foco em controle de requisições, fornecedores, pedidos e geração de relat&...
Webapp de sinais para cassino integrado a casas de aposta - Procuro alguém para criar um webapp de sinais integrado com casas de aposta. A ideia é desenvolver um aplicativo integrado com as casas de aposta, contemplando os principais jogos da...
CryptoPolio MERN web application development - I have an incomplete CryptoPolio web application that needs development work to finalize features and improve overall quality. CryptoPolio is a crypto portfolio management platform that allows use...
Bot de divulgação de links no Telegram - Preciso de um bot que faça divulgações automáticas entre canais. - O bot deve conter interface para o usuário cadastrar seu canal. - Deve ter uma quantidade m&ia...
