Pesquisar

Web scraper para o site OLX

02/03/2022 às 15:19

Descrição do Projeto:

Preciso que seja desenvolvido um módulo de web scraping para o site OLX, considerando os seguintes requisitos:

- Deverá receber como parâmetro de entrada a URL (nela já contém os filtros);
- Deverá buscar apenas os seguintes atributos: Descrição, ID do anúncio, Preço, Link do Anúncio, Data do anúncio;
- Deverá exportar os dados extraídos para um arquivo CSV;
- Durante o processo de coleta e devido à quantidade de anúncios na pesquisa, todas as páginas deverão ser consultadas, não só a página que está sendo mostrada;
- Deverá utilizar o proxy https://www.scraperapi.com/ para baixar o HTML ou algum outro sugerido, no intuito de evitar o bloqueio do IP solicitante;
- Para este proxy, deverão ser cadastradas as chaves API a serem utilizadas durante a consulta e um contador de utilização. Este contador deverá ser resetado mensalmente;
- Caso atinja o limite do contador, deverá utilizar uma outra chave API que está disponível no pool de chaves;
- Deverá ter uma interface simples WEB para cadastro das URLs e da frequência a ser definida para execução da consulta;
- Esta interface poderá ter acesso através de um usuário admin autenticado;
- Os intervalos podem ser: 1min, 5min, 10min, 30min, 1hora, 12horas e 24horas;
- Deverá executar as consultas de acordo com os intervalos definidos;
- A infraestrutura para rodar a aplicação será fornecida, considerando que os requisitos deverão ser passados e acordados entre as partes;
- Para cada coleta deverá ser gerado um arquivo com os dados exportados;
- É fundamental que seja criado um log para todos os erros que ocorrerem durante o processo de scraping. Isso será importante para rastrear mudanças que ocorreram no site e a nomenclatura dos componentes;
- O log poderá ser gerado em arquivo, no próprio servidor de aplicação;
- O formato do campo Preço deverá ser: R$ 2.500,00 -> 2500;
- O formato do campo Data deverá ser: 02-12-2022 15:14;

Atividades do cliente nesse projeto:

Última visualização: 08/03/2022 às 11:19

Última interação: 04/03/2022 às 10:35

Informações adicionais

Categoria: Web, Mobile & Software
Subcategoria: Desenvolvimento Web
Orçamento: Aberto
Nível de experiência: Iniciante
Visibilidade: Público
Propostas: 5
Propostas excluídas: 4
Interessados: 7
Valor Mínimo: R$ 50,00

Cliente

Freelancer vencedor

Propostas (1)
  • Freelancer novo Promovida Aceita Aceita Rejeitada

    Submetido: | Oferta: Privado | Duração estimada: Privado

Nenhuma proposta foi encontrada.

Carregando...
Projetos semelhantes no 99Freelas

Criação de hotsite com integração API - Procuro profissional de TI para criar um hotsite moderno e funcional com sistema de consulta. A ideia é adaptar o formulário de consulta (sem copiar o código), integrando com ...

Criação de marketplace em PHP Laravel - Projeto: Marketplace com split de pagamento Tecnologias: Back-end: PHP Laravel (API RESTful com autenticação JWT) Front-end: React.js (com Vite) Gateway de pagamento: Pagar.me, AS...

Sistema de leilão de personagens - PHP - Estou buscando um programador PHP com experiência em OTServ e MyAAC para desenvolver um sistema completo de leilão (Character Bazaar) de personagens, semelhante ao bazar oficial do Tib...

Criar site para a minha empresa - Preciso de uma pessoa para criar um site para minha empresa, que tenha foco em direcionar o cliente para o WhatsApp e que apareça nas pesquisas do Google.

Criar site para empresa de venda de equipamentos - Elaborar um site para uma empresa no ramo de máquinas industriais. Editar imagens realistas do projeto da máquina para colocar no site.

Carregando...

Carregando...

Pesquisar

FREELANCERS
PROJETOS
Ocorreu um erro inesperado. Caso o erro persista, entre em contato conosco através do e-mail suporte@99freelas.com.br.