Web Crawler para monitorar produtos da OLX
28/03/2021 às 12:17Descrição do Projeto:
Preferencialmente, não obrigatório, usando python e MySQL. O programa será agendado para executar via agendador de tarefas do Windows em dias\horários desejados.
a. No front-end deve ser possível selecionar a categoria e regiões a ser monitorada. Ex.: Veículos, Imóveis etc.
b. Mais de uma categoria e região podem ser monitoradas.
c. Todas as variáveis do anúncio devem ser capturadas, incluindo o link original do anúncio e armazenadas no BD MySQL local no meu desktop onde o programa tbm será executado.
d. Pode ser criada uma única tabela para todas as categorias, bastando informar numa coluna a categoria da informação coletada, numa segunda coluna a data de coleta dos dados.
e. Exemplos de variáveis por categoria
a. Imóveis: Descrição, Preço, Localização (CEP, Endereço), mt2, bairro, cidade, contato e nome para contato.
b. Veículos: Marca, Modelo, KMs, Ano, Combustível e etc...
f. Caso o mesmo anuncio tenha alteração de preço sem que isso altere o ID do anuncio, pode ser incluída uma nova linha na tabela de extração sem apagar o ID anterior.
g. Esse é um projeto de uso pessoal e não comercial, portanto, sugestões são bem-vindas.
Existem alguns códigos que podem ajudar no projeto:
https://github.com/umayr/olx
https://www.phpclasses.org/package/8065-PHP-Extract-data-of-classifieds-published-in-OLX-sites.html
http://www.gilenofilho.com.br/usando-o-scrapy-e-o-rethinkdb-para-capturar-e-armazenar-dados-imobiliarios-parte-i/
http://blog.adnansiddiqi.me/write-your-first-web-crawler-in-python-scrapy/
Aguardo seus comentários e proposta.
Atividades do cliente nesse projeto:
Última visualização: 06/06/2021 às 22:58
Última interação: 02/04/2021 às 11:59
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
Design de landing page para um site no mercado fitness - Precisamos criar uma landing page para um aplicativo focado em Personal Trainers. Essa landing page deverá: - ser simples e objetiva - apresentar rapidamente a idéia do produto - con...
Ajuste no Slider Revolution - Olá, Freelas! Busco um profissional que entenda bastante de Slide Revolution para dar um help em bug.
Desenvolvimento de um website empresarial - Procuro um desenvolvedor para um site empresarial ao estilo portfólio com poucas interações a banco de dados. - Preciso que tenha um chat online em que possa ser acessí...
Integração API Issabel Asterisk com sistema - Fazer integração do sistema Situador de portaria remota com Issabel Asterisk através API. Preciso de alguém que tenha conhecimento em manuseio do Issabel. , Para mais ...
Alterações dentro de site na plataforma Tray - Olá, Estamos em busca de um profissional para ajustes no site da loja que temos na plataforma Tray, o layout foi criado a 2 anos atrás e temos alguns ajustes a serem feitos no momento...
