Web scraping com armazenamento em banco de dados
11/08/2025 às 12:34Descrição do Projeto:
O objetivo é desenvolver uma aplicação em Python autônoma que acesse e extraia dados de relatórios de um sistema web, filtre os registros relevantes e armazene-os em um banco PostgreSQL, garantindo a consistência das informações.
Fluxo do processo
Acesso ao sistema
Site: onvio.com.br
Login: usuário e senha (não há verificação em duas etapas ou captcha).
As credenciais de teste serão fornecidas após o fechamento da proposta.
Acesso ao relatório
Link direto: https://app.gestta.com.br/#/sidebar/report/list
Selecionar o relatório TAREFAS AUTOMAÇÃO.
Exportar o relatório (o sistema já oferece opções nativas para CSV, HTML, PDF, Excel etc.).
Filtragem
Percorrer os registros exportados.
Verificar a coluna TAREFA - NOME.
Apenas manter no processamento os registros cujo nome esteja presente na lista DEPARA (lista cadastrada no banco PostgreSQL).
Processamento e armazenamento
Para os registros filtrados, inserir/atualizar no banco PostgreSQL (UPSERT).
Utilizar a coluna ID como chave primária. Se o ID já existir, atualizar; caso contrário, inserir novo registro.
Requisitos técnicos
Banco PostgreSQL simples, apenas para armazenar as informações de forma consistente (posteriormente será conectado a um dashboard).
Aplicação autônoma, sem interação do usuário, executada várias vezes ao dia via agendador de tarefas.
Em caso de erro, disparar um e-mail para endereço configurável.
O envio de e-mails será via Gmail, devendo haver variáveis configuráveis para servidor, porta, usuário e senha.
Observações
O código deve ser limpo e documentado para facilitar manutenção futura.
A entrega deve ser feita via arquivo .py e deve conter um README bem estruturado.
Para o banco de dados, como se trata de uma aplicação simples, basta enviar o SQL para criação do banco (ou arquivo) que eu subo ele na minha máquina local.
Fiz um vídeo curto com menos de 2 minutos com as informações da tela. Como a plataforma não permite anexar esse tipo de arquivo, segue um link para visualizá-lo pelo Google Drive:
https://drive.google.com/file/d/1UC4AQUp30i47LKqUTSdGwQuCiQOWAAAG/view?usp=sharing
Atividades do cliente nesse projeto:
Última visualização: 15/10/2025 às 18:00
Última interação: 11/08/2025 às 17:52
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
Desenvolvimento de sistema IoT com ESP32, BLE e módulo web - Sistema de Monitoramento de Presença (IoT + Web) Não enviar proposta sem cases reais. 1. Objetivo Busco profissional ou equipe para desenvolver um módulo de monitoramento au...
Instalação de programa para live automática no TikTok - Olá, preciso de ajuda para instalar, nas minhas duas contas do TikTok, uma gravação oficial de live que rode o dia inteiro. É necessário ter experiência co...
Instalação de script gerenciador de sinais - Procuro programador para instalar script pronto de sinais de slots (Hacker do Slot) em minha hospedagem.
Site de relacionamento para o meio liberal (swing +18) - O objetivo do site é unir o útil ao agradável. De imediato oferecerá inúmeros recursos e funções para a interação entre os usuá...
Engenharia reversa de software - Procuro alguém para realizar a engenharia reversa de um software, descobrir como ele funciona e desenvolver uma nova versão.
