Web scraping com armazenamento em banco de dados
11/08/2025 às 12:34Descrição do Projeto:
O objetivo é desenvolver uma aplicação em Python autônoma que acesse e extraia dados de relatórios de um sistema web, filtre os registros relevantes e armazene-os em um banco PostgreSQL, garantindo a consistência das informações.
Fluxo do processo
Acesso ao sistema
Site: onvio.com.br
Login: usuário e senha (não há verificação em duas etapas ou captcha).
As credenciais de teste serão fornecidas após o fechamento da proposta.
Acesso ao relatório
Link direto: https://app.gestta.com.br/#/sidebar/report/list
Selecionar o relatório TAREFAS AUTOMAÇÃO.
Exportar o relatório (o sistema já oferece opções nativas para CSV, HTML, PDF, Excel etc.).
Filtragem
Percorrer os registros exportados.
Verificar a coluna TAREFA - NOME.
Apenas manter no processamento os registros cujo nome esteja presente na lista DEPARA (lista cadastrada no banco PostgreSQL).
Processamento e armazenamento
Para os registros filtrados, inserir/atualizar no banco PostgreSQL (UPSERT).
Utilizar a coluna ID como chave primária. Se o ID já existir, atualizar; caso contrário, inserir novo registro.
Requisitos técnicos
Banco PostgreSQL simples, apenas para armazenar as informações de forma consistente (posteriormente será conectado a um dashboard).
Aplicação autônoma, sem interação do usuário, executada várias vezes ao dia via agendador de tarefas.
Em caso de erro, disparar um e-mail para endereço configurável.
O envio de e-mails será via Gmail, devendo haver variáveis configuráveis para servidor, porta, usuário e senha.
Observações
O código deve ser limpo e documentado para facilitar manutenção futura.
A entrega deve ser feita via arquivo .py e deve conter um README bem estruturado.
Para o banco de dados, como se trata de uma aplicação simples, basta enviar o SQL para criação do banco (ou arquivo) que eu subo ele na minha máquina local.
Fiz um vídeo curto com menos de 2 minutos com as informações da tela. Como a plataforma não permite anexar esse tipo de arquivo, segue um link para visualizá-lo pelo Google Drive:
https://drive.google.com/file/d/1UC4AQUp30i47LKqUTSdGwQuCiQOWAAAG/view?usp=sharing
Atividades do cliente nesse projeto:
Última visualização: 15/10/2025 às 18:00
Última interação: 11/08/2025 às 17:52
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
Criação de conta iCloud (Apple) - Urgente Olá, eu tenho um iPhone e o limite de criação de iCloud é de 3 contas por dispositivo durante a vida útil. Comprei o aparelho usado, então n&ati...
Bot para Discord com venda por Pix - Criar um bot para Discord que funcione como loja no servidor, com pagamento via Pix. Bot simples: após a compra, atribuir cargos aos clientes e criar um canal privado para o cliente receber ...
10 testadores para app - Preciso de uma equipe com 10 pessoas que usem android para baixar meu app, para que eu possa cumprir a última etapa na playstore, precisa abrir para testar todos os dias, por 12 dias seguido...
Projeto de integração e automação - Olá, tudo bem? Me chamo Lucas, sou da Multa Zero. Nós atuamos centralizando dados de infrações para frotas e condutores em nosso sistema. Atualmente estamos buscando u...
Atuação em Firewalls Forcepoint modelo 3405 - Estou em busca de um(a) profissional qualificado(a) com experiência em Firewalls Forcepoint, modelo 3405, para atuação em projeto específico. - Experiência comprov...
