Web scraping com armazenamento em banco de dados
11/08/2025 às 12:34Descrição do Projeto:
O objetivo é desenvolver uma aplicação em Python autônoma que acesse e extraia dados de relatórios de um sistema web, filtre os registros relevantes e armazene-os em um banco PostgreSQL, garantindo a consistência das informações.
Fluxo do processo
Acesso ao sistema
Site: onvio.com.br
Login: usuário e senha (não há verificação em duas etapas ou captcha).
As credenciais de teste serão fornecidas após o fechamento da proposta.
Acesso ao relatório
Link direto: https://app.gestta.com.br/#/sidebar/report/list
Selecionar o relatório TAREFAS AUTOMAÇÃO.
Exportar o relatório (o sistema já oferece opções nativas para CSV, HTML, PDF, Excel etc.).
Filtragem
Percorrer os registros exportados.
Verificar a coluna TAREFA - NOME.
Apenas manter no processamento os registros cujo nome esteja presente na lista DEPARA (lista cadastrada no banco PostgreSQL).
Processamento e armazenamento
Para os registros filtrados, inserir/atualizar no banco PostgreSQL (UPSERT).
Utilizar a coluna ID como chave primária. Se o ID já existir, atualizar; caso contrário, inserir novo registro.
Requisitos técnicos
Banco PostgreSQL simples, apenas para armazenar as informações de forma consistente (posteriormente será conectado a um dashboard).
Aplicação autônoma, sem interação do usuário, executada várias vezes ao dia via agendador de tarefas.
Em caso de erro, disparar um e-mail para endereço configurável.
O envio de e-mails será via Gmail, devendo haver variáveis configuráveis para servidor, porta, usuário e senha.
Observações
O código deve ser limpo e documentado para facilitar manutenção futura.
A entrega deve ser feita via arquivo .py e deve conter um README bem estruturado.
Para o banco de dados, como se trata de uma aplicação simples, basta enviar o SQL para criação do banco (ou arquivo) que eu subo ele na minha máquina local.
Fiz um vídeo curto com menos de 2 minutos com as informações da tela. Como a plataforma não permite anexar esse tipo de arquivo, segue um link para visualizá-lo pelo Google Drive:
https://drive.google.com/file/d/1UC4AQUp30i47LKqUTSdGwQuCiQOWAAAG/view?usp=sharing
Atividades do cliente nesse projeto:
Última visualização: 15/10/2025 às 18:00
Última interação: 11/08/2025 às 17:52
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
Bot para Telegram gerador de artes e vídeos - Necessito de um bot para o Telegram que gere artes e vídeos. Ao acessar, o usuário terá as opções: 1- Adicionar logotipo para a arte que o bot construirá 2...
Automação de atendimento no WhatsApp com n8n - Preciso de um programador que consiga fazer automação de atendimento no WhatsApp para um infoproduto, utilizando n8n. Informe orçamento e detalhes.
Projeto de infraestrutura NOC - Projeto voltado à infraestrutura de NOC, com foco em rede e domínio completo do ambiente, especialmente no fluxo de dados e nas configurações. Operação dos...
Desenvolvimento de bot de automação web - Estou procurando um desenvolvedor experiente em automação web para criar um bot que automatize o processo de login em um site, navegue até uma área específica e e...
Robô automático para opções binárias - Preciso de um bot que realize entradas automáticas no mercado de opções binárias. Pode funcionar de qualquer forma: extensão, Telegram, web... Prefiro que funcion...
