Pesquisar

Web scraper para o site OLX

02/03/2022 às 15:19

Descrição do Projeto:

Preciso que seja desenvolvido um módulo de web scraping para o site OLX, considerando os seguintes requisitos:

- Deverá receber como parâmetro de entrada a URL (nela já contém os filtros);
- Deverá buscar apenas os seguintes atributos: Descrição, ID do anúncio, Preço, Link do Anúncio, Data do anúncio;
- Deverá exportar os dados extraídos para um arquivo CSV;
- Durante o processo de coleta e devido à quantidade de anúncios na pesquisa, todas as páginas deverão ser consultadas, não só a página que está sendo mostrada;
- Deverá utilizar o proxy https://www.scraperapi.com/ para baixar o HTML ou algum outro sugerido, no intuito de evitar o bloqueio do IP solicitante;
- Para este proxy, deverão ser cadastradas as chaves API a serem utilizadas durante a consulta e um contador de utilização. Este contador deverá ser resetado mensalmente;
- Caso atinja o limite do contador, deverá utilizar uma outra chave API que está disponível no pool de chaves;
- Deverá ter uma interface simples WEB para cadastro das URLs e da frequência a ser definida para execução da consulta;
- Esta interface poderá ter acesso através de um usuário admin autenticado;
- Os intervalos podem ser: 1min, 5min, 10min, 30min, 1hora, 12horas e 24horas;
- Deverá executar as consultas de acordo com os intervalos definidos;
- A infraestrutura para rodar a aplicação será fornecida, considerando que os requisitos deverão ser passados e acordados entre as partes;
- Para cada coleta deverá ser gerado um arquivo com os dados exportados;
- É fundamental que seja criado um log para todos os erros que ocorrerem durante o processo de scraping. Isso será importante para rastrear mudanças que ocorreram no site e a nomenclatura dos componentes;
- O log poderá ser gerado em arquivo, no próprio servidor de aplicação;
- O formato do campo Preço deverá ser: R$ 2.500,00 -> 2500;
- O formato do campo Data deverá ser: 02-12-2022 15:14;

Atividades do cliente nesse projeto:

Última visualização: 08/03/2022 às 11:19

Última interação: 04/03/2022 às 10:35

Informações adicionais

Categoria: Web, Mobile & Software
Subcategoria: Desenvolvimento Web
Orçamento: Aberto
Nível de experiência: Iniciante
Visibilidade: Público
Propostas: 5
Propostas excluídas: 4
Interessados: 7
Valor Mínimo: R$ 50,00

Cliente

Freelancer vencedor

Propostas (1)
  • Freelancer novo Promovida Aceita Aceita Rejeitada

    Submetido: | Oferta: Privado | Duração estimada: Privado

Nenhuma proposta foi encontrada.

Carregando...
Projetos semelhantes no 99Freelas

Criação de landing page para infoproduto - Estou procurando um profissional experiente para desenvolver uma landing page (página de vendas) de alta conversão para um infoproduto. O objetivo é criar uma página mo...

Geração automática de proposta Olist Tiny e dashboard de acompanhamento - Olá, Thiago. Preciso, nessa etapa, de: - Geração automática de proposta comercial no Olist Tiny. Nessa etapa, irei incluir no CRM os dados da empresa (que podem estar e...

Recriação de CRM para atendimento via WhatsApp - Olá, tudo bem? Estou procurando um desenvolvedor que consiga recriar um sistema de atendimento via WhatsApp (CRM) semelhante ao Mecliq, que eu utilizava na minha loja. Tenho acesso visual ...

Desenvolvimento back-end/fullstack (Node.js/Firebase) para MVP de fintech - Procuramos um desenvolvedor Full Stack Sênior especializado em Node.js e Firebase para o desenvolvimento do MVP de uma plataforma inovadora de crédito descentralizado, permutas multila...

Migração e otimização de hospedagem de SiteGround para Hostinger Cloud - Busco um especialista para realizar alguns ajustes e a migração completa de um site atualmente hospedado no SiteGround para o Hostinger Cloud Startup. Além da migraç&ati...

Carregando...

Carregando...

Pesquisar

FREELANCERS
PROJETOS
Ocorreu um erro inesperado. Caso o erro persista, entre em contato conosco através do e-mail suporte@99freelas.com.br.