Pesquisar

Web scraper para o site OLX

02/03/2022 às 15:19

Descrição do Projeto:

Preciso que seja desenvolvido um módulo de web scraping para o site OLX, considerando os seguintes requisitos:

- Deverá receber como parâmetro de entrada a URL (nela já contém os filtros);
- Deverá buscar apenas os seguintes atributos: Descrição, ID do anúncio, Preço, Link do Anúncio, Data do anúncio;
- Deverá exportar os dados extraídos para um arquivo CSV;
- Durante o processo de coleta e devido à quantidade de anúncios na pesquisa, todas as páginas deverão ser consultadas, não só a página que está sendo mostrada;
- Deverá utilizar o proxy https://www.scraperapi.com/ para baixar o HTML ou algum outro sugerido, no intuito de evitar o bloqueio do IP solicitante;
- Para este proxy, deverão ser cadastradas as chaves API a serem utilizadas durante a consulta e um contador de utilização. Este contador deverá ser resetado mensalmente;
- Caso atinja o limite do contador, deverá utilizar uma outra chave API que está disponível no pool de chaves;
- Deverá ter uma interface simples WEB para cadastro das URLs e da frequência a ser definida para execução da consulta;
- Esta interface poderá ter acesso através de um usuário admin autenticado;
- Os intervalos podem ser: 1min, 5min, 10min, 30min, 1hora, 12horas e 24horas;
- Deverá executar as consultas de acordo com os intervalos definidos;
- A infraestrutura para rodar a aplicação será fornecida, considerando que os requisitos deverão ser passados e acordados entre as partes;
- Para cada coleta deverá ser gerado um arquivo com os dados exportados;
- É fundamental que seja criado um log para todos os erros que ocorrerem durante o processo de scraping. Isso será importante para rastrear mudanças que ocorreram no site e a nomenclatura dos componentes;
- O log poderá ser gerado em arquivo, no próprio servidor de aplicação;
- O formato do campo Preço deverá ser: R$ 2.500,00 -> 2500;
- O formato do campo Data deverá ser: 02-12-2022 15:14;

Atividades do cliente nesse projeto:

Última visualização: 08/03/2022 às 11:19

Última interação: 04/03/2022 às 10:35

Informações adicionais

Categoria: Web, Mobile & Software
Subcategoria: Desenvolvimento Web
Orçamento: Aberto
Nível de experiência: Iniciante
Visibilidade: Público
Propostas: 5
Propostas excluídas: 4
Interessados: 7
Valor Mínimo: R$ 50,00

Cliente

Freelancer vencedor

Propostas (1)
  • Freelancer novo Promovida Aceita Aceita Rejeitada

    Submetido: | Oferta: Privado | Duração estimada: Privado

Nenhuma proposta foi encontrada.

Carregando...
Projetos semelhantes no 99Freelas

Automação de postagens, organização de mídias e integração com APIs - Estou expandindo minha operação no universo de conteúdo para (gente grande) e preciso de um programador que me ajude a automatizar tarefas relacionadas à postagem, &agra...

Automação de ofertas com webhook e comparador Google Shopping - Preciso de um dev para criar uma automação leve (Python, Node.js ou n8n) para grupo de ofertas. Preferência por solução que possa ser executada como SaaS ou via A...

Desenvolvimento de landing page educacional para vestibulares - Estou procurando um profissional para desenvolver a landing page educacional, um projeto voltado para estudantes que se preparam para vestibulares. A ideia de design da página já foi...

Criação de landing page para Google ADS e Facebook - Preciso da criação de uma landing page profissional. O principal objetivo da página será receber tráfego de campanhas do Google Ads/Facebook Ads e converter os vi...

Landing page para clube de assinatura de plantas - Projeto - Landing Page Plant Lover Sobre a empresa A Plant Lover é uma marca de clube de assinatura de plantas criada para pessoas que desejam levar mais natureza, beleza e bem-estar para ...

Carregando...

Carregando...

Pesquisar

FREELANCERS
PROJETOS
Ocorreu um erro inesperado. Caso o erro persista, entre em contato conosco através do e-mail suporte@99freelas.com.br.