Desenvolvimento de script Python para web scraping
hoje às 09:47Descrição do Projeto:
Experiência prévia com e-commerce é um diferencial muito bem-vindo, especialmente para lidar com coleta de preços, produtos, descrições, estoques, paginação e anti-bot simples.
Além disso, conhecimento em AWS (Lambda, SQS) será considerado um grande diferencial, já que futuramente posso querer transformar o scraping em um fluxo assíncrono e escalável na nuvem.
O que o programa deve fazer:
Acessar um ou mais sites previamente definidos (informarei após contratação).
Realizar scraping completo, incluindo:
• Navegação em múltiplas páginas (paginação)
• Coleta de textos, preços, tabelas, links, imagens (metadados)
• Padronização e limpeza dos dados
Tratar cenários comuns:
• Bloqueios simples
• Mudança de HTML
• Timeouts e erros de requisição
Entregar o resultado em formato:
• JSON
• CSV
• Ou upload em S3 (opcional, se o freelancer dominar AWS)
Diferenciais (não obrigatórios):
(Mas contarão muitos pontos na escolha!)
Experiência prática com:
• AWS Lambda para execução do scraping em nuvem
• Amazon SQS para processar múltiplas tarefas em fila
• S3 para armazenamento de resultados
Vivência em scraping de sites de e-commerce (lojas virtuais, marketplaces, catálogo de produtos).
Conhecimento de boas práticas anti-bloqueio:
• Rotação de user-agents
• Delays aleatórios
• Proxies simples
Requisitos técnicos desejáveis:
• Python 3
• Bibliotecas como requests, BeautifulSoup, lxml, Selenium ou similares
• Código limpo, organizado e bem comentado
• Boas práticas de logging e tratamento de exceções
Entregáveis:
• Código completo em Python
• Documentação rápida de uso
• Instruções claras para rodar localmente
• (Opcional) Deploy e integração com AWS, se o freelancer tiver esse diferencial.
O que informar na proposta:
• Trabalhos anteriores com scraping (GitHub/portfólio ajuda muito)
• Experiência com e-commerce (se houver)
• Experiência com AWS (mesmo que intermediária)
• Prazo estimado para o MVP
• Valor total proposto.
Habilidades desejadas:
Tem dúvidas? Faça uma pergunta.
ou
Informações adicionais
| Categoria: | Web, Mobile & Software |
|---|---|
| Subcategoria: | Outra - Web, Mobile & Software |
| Orçamento: | Aberto |
| Nível de experiência: | Intermediário |
| Visibilidade: | Público |
| Propostas: | 7 |
| Interessados: | 11 |
| Tempo restante: | |
| Valor Mínimo: | R$ 50,00 |
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
Desenvolvimento de agente de IA para o mercado da saúde - Preciso de desenvolvedores qualificados para criar um agente de IA voltado ao mercado da saúde. Ele precisará abranger: 1) Otimizador de conversão e vendas voltadas ao mercado...
Configuração de GPTMAKER e integração com WhatsApp/CRM - Preciso de um profissional que me auxilie na configuração de GPTMAKER para atendimento automatizado de clientes, por meio de inteligência artificial.
Configuração de automações no Kommo CRM - Preciso de um profissional que consiga configurar automações no sistema de atendimento de WhatsApp Kommo, principalmente fazendo integrações com ferramentas de assinatur...
Configurar bot e grupo no Telegram - Olá! Procuro freelancer especialista em criação de canal/grupo no Telegram e configuração do bot. Após a conclusão, fornecer um tutorial explicativ...
Correção de chatbot com mensagens duplicadas - Tenho um chatbot próprio que está apresentando erro na comunicação com o WhatsApp. O erro ocorre quando o cliente ou eu mesmo enviamos uma mensagem; ao receber a respost...
