Pesquisar

Web Crawler para monitorar produtos da OLX

28/03/2021 às 12:17

Descrição do Projeto:

Web Crawler para monitorar produtos da OLX.
Preferencialmente, não obrigatório, usando python e MySQL. O programa será agendado para executar via agendador de tarefas do Windows em dias\horários desejados.
a. No front-end deve ser possível selecionar a categoria e regiões a ser monitorada. Ex.: Veículos, Imóveis etc.
b. Mais de uma categoria e região podem ser monitoradas.
c. Todas as variáveis do anúncio devem ser capturadas, incluindo o link original do anúncio e armazenadas no BD MySQL local no meu desktop onde o programa tbm será executado.
d. Pode ser criada uma única tabela para todas as categorias, bastando informar numa coluna a categoria da informação coletada, numa segunda coluna a data de coleta dos dados.
e. Exemplos de variáveis por categoria
a. Imóveis: Descrição, Preço, Localização (CEP, Endereço), mt2, bairro, cidade, contato e nome para contato.
b. Veículos: Marca, Modelo, KMs, Ano, Combustível e etc...
f. Caso o mesmo anuncio tenha alteração de preço sem que isso altere o ID do anuncio, pode ser incluída uma nova linha na tabela de extração sem apagar o ID anterior.
g. Esse é um projeto de uso pessoal e não comercial, portanto, sugestões são bem-vindas.

Existem alguns códigos que podem ajudar no projeto:

https://github.com/umayr/olx

https://www.phpclasses.org/package/8065-PHP-Extract-data-of-classifieds-published-in-OLX-sites.html

http://www.gilenofilho.com.br/usando-o-scrapy-e-o-rethinkdb-para-capturar-e-armazenar-dados-imobiliarios-parte-i/

http://blog.adnansiddiqi.me/write-your-first-web-crawler-in-python-scrapy/

Aguardo seus comentários e proposta.

Habilidades desejadas:

MySQL Python

Atividades do cliente nesse projeto:

Última visualização: 11/01/2022 às 23:53

Última interação: 02/04/2021 às 11:59

Informações adicionais

Categoria: Web, Mobile & Software
Subcategoria: Desenvolvimento Web
Orçamento: Aberto
Nível de experiência: Intermediário
Visibilidade: Público
Propostas: 8
Propostas excluídas: 7
Interessados: 8
Valor Mínimo: R$ 50,00

Cliente

Freelancer vencedor

Propostas (1)
  • Freelancer novo Promovida Aceita Aceita Rejeitada

    Submetido: | Oferta: Privado | Duração estimada: Privado

Nenhuma proposta foi encontrada.

Carregando...
Projetos semelhantes no 99Freelas

Implementação de site WordPress - Precisamos de um site seguindo as opções abaixo: - Home • Banner rotativo com slides. • Seção de vídeo em destaque. • Chamada rápida para a...

Adicionar funcionalidades a plugin WordPress de mídia indoor - Expandir as funcionalidades de um plugin WordPress já existente, voltado para a gestão e exibição de conteúdo em painéis de mídia indoor (TVs, monit...

Criação de plataforma de venda de ingressos - Gostaria de criar um site para venda de ingressos. Ex: https://www.30e.live/pt-BR/ e https://www.livenation.com.br Porém, tem que ter um painel para trocar as informações, com...

Desenvolvedor Full Stack para MVP – Projeto Gamificação com Pix - Formato: Projeto pontual com possibilidade de sociedade Prazo para entrega do MVP: até 30 dias Sobre o Projeto Estamos criando uma plataforma gamificada onde usuários enviam peque...

Aprimorar site educacional - Estamos buscando um profissional qualificado para reestruturar e aprimorar um site educacional já existente. Atualmente, o site está hospedado na Hostinger e foi desenvolvido utilizan...

Carregando...

Carregando...

Pesquisar

FREELANCERS
PROJETOS
Ocorreu um erro inesperado. Caso o erro persista, entre em contato conosco através do e-mail suporte@99freelas.com.br.