Desenvolver uma inteligência artificial (IA) capaz de navegar, coletar e estruturar dados específicos (descrição, link, preços e datas) de múltiplos sites de leilão online, salvando as informações extraídas em arquivos JSON separados por site.

Objetivos específicos:

• Capacidade de navegação inteligente: A IA deverá ser capaz de acessar e navegar dinamicamente em diferentes estruturas de sites de leilão, identificando as seções relevantes onde as informações dos leilões são apresentadas.

• Extração seletiva de dados: A IA deverá identificar e extrair com precisão os seguintes dados de cada item de leilão encontrado:
• Descrição: O texto descritivo do item leiloado.
• Link: O URL que direciona para a página de detalhes do leilão do item específico.
• Preços: O preço atual, lance inicial (se disponível) e outros preços relevantes (ex: preço de arremate, se já finalizado).
• Datas: A data e hora de início e término do leilão.

• Adaptabilidade a diferentes estruturas de sites: A IA deverá ser projetada para ser adaptável a variações na estrutura HTML e no layout de diferentes sites de leilão, minimizando a necessidade de reconfiguração completa para cada novo site.

• Formato de saída estruturado: Os dados extraídos de cada site de leilão deverão ser salvos em um arquivo JSON separado, onde a estrutura dos dados seja consistente e facilmente processável. A estrutura do JSON deverá refletir cada item de leilão como um objeto com os campos "descricao", "link", "precos" (com subcampos relevantes) e "datas" (com subcampos relevantes).

• Escalabilidade e eficiência: A solução deverá ser projetada com foco em escalabilidade para permitir a adição de novos sites de leilão e o processamento de um grande volume de dados de forma eficiente.

Funcionalidades principais:

• Módulo de configuração de sites: Uma interface (ou arquivo de configuração) onde novos sites de leilão podem ser adicionados, especificando as URLs de entrada.

• Módulo de navegação e identificação: Um componente da IA responsável por explorar as páginas dos sites de leilão e identificar os elementos HTML que contêm as informações relevantes.

• Módulo de extração de dados: Um componente da IA que, com base em regras ou modelos de aprendizado, extrai a descrição, link, preços e datas dos elementos identificados.

• Módulo de estruturação de dados: Um componente que organiza os dados extraídos em um formato JSON padronizado para cada item de leilão.

• Módulo de salvamento de dados: Um componente que salva os dados estruturados em arquivos JSON separados, nomeados de acordo com o site de origem (ex: megaleiloes.json, outro_leilao.json).

• Mecanismo de adaptação (opcional, mas desejável): Implementação de técnicas de aprendizado de máquina ou heurísticas avançadas para que a IA possa aprender padrões e se adaptar automaticamente a pequenas variações na estrutura dos sites, reduzindo a necessidade de intervenção manual constante.

Tecnologias potenciais:

• Linguagens de programação: Python (devido às suas bibliotecas robustas para web scraping e aprendizado de máquina).

• Bibliotecas de web scraping: BeautifulSoup, Scrapy, Selenium (para sites com conteúdo dinâmico).

• Bibliotecas de processamento de linguagem natural (NLP): Para auxiliar na identificação e extração de descrições relevantes.

• Bibliotecas de aprendizado de máquina (ML): TensorFlow, PyTorch, scikit-learn (para o mecanismo de adaptação, se implementado).

• Formato de dados: JSON.

Estou buscando um(a) profissional experiente para desenvolver um sistema automatizado que monitore, identifique e envie alertas de passagens aéreas promocionais com milhas (tarifas award) nos sites das principais companhias (LATAM, GOL, Azul, etc).

O sistema deverá:
• Monitorar automaticamente sites e programas de fidelidade em busca de promoções com milhas;
• Filtrar ofertas com base em critérios como datas, valores e destinos;
• Registrar essas ofertas em Google Sheets ou painel web;
• Enviar as ofertas automaticamente para Telegram ou WhatsApp (via Z-API ou alternativa);
• Ser entregue com documentação básica para uso e manutenção.

Habilidades desejadas:
• Web Scraping (Python com BeautifulSoup/Selenium, ou outra tecnologia)
• Integração com APIs (se aplicável)
• Automatizações com Make, Zapier ou scripts customizados
• Bots para WhatsApp e/ou Telegram
• Noções básicas de UI para painel web (desejável)

Entregáveis esperados:
• Robô minerador funcional
• Integração com Google Sheets ou painel para visualização
• Envio automatizado para grupo de WhatsApp/Telegram
• Suporte básico na implementação inicial
• Documentação técnica simples

Observações:
• Já tenho uma ideia clara do fluxo e posso orientar durante o projeto;
• Busco alguém que possa entregar um sistema funcional e confiável;
• Projetos futuros poderão ser negociados, caso o resultado seja satisfatório.

Estou em busca de um profissional para desenvolver um script de web scraping que extraia informações de produtos de um e-commerce específico e envie esses dados para a minha conta no Bling. O objetivo é automatizar a coleta de informações, como nome, preço, descrição e categorias dos produtos, para otimizar a gestão do meu estoque.

Requisitos do projeto:

• Desenvolver um script de scraping para coletar dados do site de e-commerce mencionado.
• O script deve conseguir extrair as informações de produtos por categoria, conforme disponíveis no site.
• Os dados extraídos devem ser formatados conforme as necessidades da API do Bling (versão 3), incluindo variações de produtos (tamanho, cor, etc.).
• O script deverá permitir o envio direto para o Bling sem a necessidade de um ambiente virtual.
• Incluir autenticação de login e tratamento de erros do processo de raspagem.
• A solução deve ser eficiente e otimizada para garantir uma execução rápida.

Tecnologias desejadas:

• Python (bibliotecas como BeautifulSoup, Requests ou Scrapy, por exemplo).
• Conhecimento da API do Bling v3 para integração.
• Capacidade de gerar um arquivo de dados compatível com o Bling (por exemplo, em JSON ou XML).

Requisitos adicionais:

• Experiência prévia em projetos de web scraping e integração com APIs.
• Capacidade de fornecer documentação clara para a implementação.
• Facilidade de comunicação e feedback rápido.

Preciso de uma solução para as requisições que falham nas requisições que meu crawler faz. Algumas falhas são causadas por timeouts, enquanto outras são bloqueios por geolocalização, entre outros problemas.

Faço mais de 1 milhão de requisições diariamente.