Web scraping com armazenamento em banco de dados
11/08/2025 às 12:34Descrição do Projeto:
O objetivo é desenvolver uma aplicação em Python autônoma que acesse e extraia dados de relatórios de um sistema web, filtre os registros relevantes e armazene-os em um banco PostgreSQL, garantindo a consistência das informações.
Fluxo do processo
Acesso ao sistema
Site: onvio.com.br
Login: usuário e senha (não há verificação em duas etapas ou captcha).
As credenciais de teste serão fornecidas após o fechamento da proposta.
Acesso ao relatório
Link direto: https://app.gestta.com.br/#/sidebar/report/list
Selecionar o relatório TAREFAS AUTOMAÇÃO.
Exportar o relatório (o sistema já oferece opções nativas para CSV, HTML, PDF, Excel etc.).
Filtragem
Percorrer os registros exportados.
Verificar a coluna TAREFA - NOME.
Apenas manter no processamento os registros cujo nome esteja presente na lista DEPARA (lista cadastrada no banco PostgreSQL).
Processamento e armazenamento
Para os registros filtrados, inserir/atualizar no banco PostgreSQL (UPSERT).
Utilizar a coluna ID como chave primária. Se o ID já existir, atualizar; caso contrário, inserir novo registro.
Requisitos técnicos
Banco PostgreSQL simples, apenas para armazenar as informações de forma consistente (posteriormente será conectado a um dashboard).
Aplicação autônoma, sem interação do usuário, executada várias vezes ao dia via agendador de tarefas.
Em caso de erro, disparar um e-mail para endereço configurável.
O envio de e-mails será via Gmail, devendo haver variáveis configuráveis para servidor, porta, usuário e senha.
Observações
O código deve ser limpo e documentado para facilitar manutenção futura.
A entrega deve ser feita via arquivo .py e deve conter um README bem estruturado.
Para o banco de dados, como se trata de uma aplicação simples, basta enviar o SQL para criação do banco (ou arquivo) que eu subo ele na minha máquina local.
Fiz um vídeo curto com menos de 2 minutos com as informações da tela. Como a plataforma não permite anexar esse tipo de arquivo, segue um link para visualizá-lo pelo Google Drive:
https://drive.google.com/file/d/1UC4AQUp30i47LKqUTSdGwQuCiQOWAAAG/view?usp=sharing
Atividades do cliente nesse projeto:
Última visualização: 30/08/2025 às 12:26
Última interação: 11/08/2025 às 17:52
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
Automação BDR/SDR com IA - AUTOMAÇÃO BDR/SDR COM IA – COLETA CONTÍNUA NO GOOGLE MAPS + PIPEDRIVE + WHATSAPP + GOOGLE AGENDA Descrição do projeto: Estou buscando um desenvolvedor com ...
Ajudes em 2 e-commerces na Nuvemshop para Black Friday - A Agência Rocket Aceleradora busca freelancer com experiência em Nuvemshop para ajustes imediatos em dois e-commerces para a campanha de Black Friday. Atividades: • Criar pá...
Ajuste de indexação do site no Google - Olá! Preciso de um orçamento para ajustar o site corporativo que não está indexando as informações no Google. Grata.
Integração com Aftership - Corrigir alguns erros e integrar o Aftership a um projeto. É um trabalho rápido para quem sabe, só é necessário trabalhar junto comigo para que eu possa ir orient...
Converter código de EXE para DLL com HOOK - Possuo um código de poucas linhas, creio que no máximo 300 linhas, e preciso de uma modificação do código que hoje está em C# ou .NET, se não me eng...
