Preciso desenvolver um software que colete dados em um portal web, atualmente realizado com o iMacros.

- Objetivo:
Criar um sistema que leia uma lista de CPFs (arquivo .csv ou .excel), acesse um site, insira as credenciais, insira os dados do arquivo em .csv ou .excel e comece a coletar os dados exibidos na tela, salvando os resultados em um arquivo .csv ou .excel.

- Funcionalidades desejadas:

Entrada de dados:
Leitura de um arquivo .csv ou .excel com um CPF por linha.

Automação Web:
Acessar o portal.
Preencher o campo de CPF.
Acionar o botão de consulta.
Aguardar carregamento dos dados.

Capturar os seguintes dados da tela:
Dados A
Dados B
Dados X
Dados Y
Dados Z

- Saída de dados:
Salvar os dados extraídos em um arquivo .csv ou .excel, no formato delimitado por ponto e vírgula ;.

- Extras (desejável, não obrigatório):
Interface simples para escolher o arquivo de entrada e onde salvar o resultado.
Opção de pausar ou continuar.
Log de erros caso algum CPF não retorne dados.

- Outros detalhes:
Já tenho um script funcionando em iMacros como referência.

Contexto

A Diversidade Contábil Assessoria inicia um projeto voluntário de mentoria na área financeira. Buscamos um web scraper para coletar vagas de emprego, apoiando mentorados no diagnóstico do mercado.

Sobre o solicitante

Projeto: Diversidade Contábil Assessoria.

Conhecimento: Básico em Python; desejo editar o código posteriormente.

Site: Em desenvolvimento, sem local definido para salvar dados.

Armazenamento: Não definido; preciso de sugestões.

Escopo

Funcionalidades

Web scraping:

Coletar vagas em sites (ex.: LinkedIn, Catho, Indeed).

Dados:

Título, empresa, localização, salário.

Requisitos, descrição, link, data.

Filtros por palavras-chave (ex.: "analista financeiro").

Automatização:

Execução automática (diária/semanal).

Tratamento de erros (ex.: bloqueios).

Armazenamento (sugestões):

CSV/Excel (local, simples).

SQLite (leve, Python).

Google Sheets (online, compartilhável).

MySQL (se hospedado).

Relatórios:

Resumo de vagas (totais, salários, locais).

Formato: CSV, Excel ou Jupyter Notebook.

Requisitos técnicos

Linguagem: Python.

Bibliotecas:

BeautifulSoup/Scrapy (scraping).

Selenium (sites dinâmicos).

Pandas (dados).

Requests (acesso).

Código:

Modular, comentado, editável.

README com instruções.

Compatibilidade: Local (Windows/Linux), adaptável para nuvem.

Ética: Delays e cabeçalhos para respeitar sites.

Entregáveis

Código: Script Python funcional.

Armazenamento: Configuração inicial (ex.: CSV, SQLite).

Relatórios: Modelo básico.

Treinamento: 1-2 horas (videochamada, gravada).

Documentação: Guia para uso e ajustes.

Precificação

Horas de desenvolvimento: Estimar para script, armazenamento, relatórios.

Horas de treinamento: 1-2 horas.

Suporte (opcional): Custo por hora pós-entrega.

Detalhar: Custo total e valor/hora.

Cronograma

Planejamento: 1 semana (sites, armazenamento).

Desenvolvimento: 2-3 semanas (script, testes).

Treinamento e entrega: 1 semana.

Total: 4-5 semanas.

Expectativas

Atualizações semanais.

Código editável por iniciante em Python.

Garantia de 15 dias para bugs.

Sugestões para armazenamento/relatórios.

Informações

Orçamento: Aberto, detalhar horas/custos.

Seleção

Experiência com web scraping/Python.

Clareza na proposta.

Comunicação acessível.

Nota: Projeto inicial com potencial de expansão (ex.: integração com site). Busco solução simples e editável.

E aí, meus queridos!
Um ótimo dia a todos.

Hoje trago a vocês um dos meus projetos que tenho aqui para tirar do papel e preciso de um parceiro.

Preciso de um desenvolvedor para trabalhar com Python Selenium, CustomTkinter e Playwright.

O software que tenho hoje foi feito para desktop. Meu objetivo é colocá-lo em uma VPS ou servidor e controlá-lo por um site.

Então, eu já até tenho um dashboard feito para comandá-lo, mas precisa ser colocado em ação e eu não sei como fazer isso.

Se tiver interessado em saber mais, chama aí que vamos ter uma reunião para você entender melhor e descobrir se consegue completar essa missão.

Desenvolver uma inteligência artificial (IA) capaz de navegar, coletar e estruturar dados específicos (descrição, link, preços e datas) de múltiplos sites de leilão online, salvando as informações extraídas em arquivos JSON separados por site.

Objetivos específicos:

• Capacidade de navegação inteligente: A IA deverá ser capaz de acessar e navegar dinamicamente em diferentes estruturas de sites de leilão, identificando as seções relevantes onde as informações dos leilões são apresentadas.

• Extração seletiva de dados: A IA deverá identificar e extrair com precisão os seguintes dados de cada item de leilão encontrado:
• Descrição: O texto descritivo do item leiloado.
• Link: O URL que direciona para a página de detalhes do leilão do item específico.
• Preços: O preço atual, lance inicial (se disponível) e outros preços relevantes (ex: preço de arremate, se já finalizado).
• Datas: A data e hora de início e término do leilão.

• Adaptabilidade a diferentes estruturas de sites: A IA deverá ser projetada para ser adaptável a variações na estrutura HTML e no layout de diferentes sites de leilão, minimizando a necessidade de reconfiguração completa para cada novo site.

• Formato de saída estruturado: Os dados extraídos de cada site de leilão deverão ser salvos em um arquivo JSON separado, onde a estrutura dos dados seja consistente e facilmente processável. A estrutura do JSON deverá refletir cada item de leilão como um objeto com os campos "descricao", "link", "precos" (com subcampos relevantes) e "datas" (com subcampos relevantes).

• Escalabilidade e eficiência: A solução deverá ser projetada com foco em escalabilidade para permitir a adição de novos sites de leilão e o processamento de um grande volume de dados de forma eficiente.

Funcionalidades principais:

• Módulo de configuração de sites: Uma interface (ou arquivo de configuração) onde novos sites de leilão podem ser adicionados, especificando as URLs de entrada.

• Módulo de navegação e identificação: Um componente da IA responsável por explorar as páginas dos sites de leilão e identificar os elementos HTML que contêm as informações relevantes.

• Módulo de extração de dados: Um componente da IA que, com base em regras ou modelos de aprendizado, extrai a descrição, link, preços e datas dos elementos identificados.

• Módulo de estruturação de dados: Um componente que organiza os dados extraídos em um formato JSON padronizado para cada item de leilão.

• Módulo de salvamento de dados: Um componente que salva os dados estruturados em arquivos JSON separados, nomeados de acordo com o site de origem (ex: megaleiloes.json, outro_leilao.json).

• Mecanismo de adaptação (opcional, mas desejável): Implementação de técnicas de aprendizado de máquina ou heurísticas avançadas para que a IA possa aprender padrões e se adaptar automaticamente a pequenas variações na estrutura dos sites, reduzindo a necessidade de intervenção manual constante.

Tecnologias potenciais:

• Linguagens de programação: Python (devido às suas bibliotecas robustas para web scraping e aprendizado de máquina).

• Bibliotecas de web scraping: BeautifulSoup, Scrapy, Selenium (para sites com conteúdo dinâmico).

• Bibliotecas de processamento de linguagem natural (NLP): Para auxiliar na identificação e extração de descrições relevantes.

• Bibliotecas de aprendizado de máquina (ML): TensorFlow, PyTorch, scikit-learn (para o mecanismo de adaptação, se implementado).

• Formato de dados: JSON.

Quero uma automação em Python para extrair dados de anúncios da biblioteca de anúncios do Facebook. Por exemplo: pesquiso sobre algum assunto e aparecem os resultados; quero que o script abra cada um e extraia as informações em .txt. Criei um script já com a ajuda do ChatGPT, mas não está funcionando como eu quero.

Estou buscando um(a) profissional experiente para desenvolver um sistema automatizado que monitore, identifique e envie alertas de passagens aéreas promocionais com milhas (tarifas award) nos sites das principais companhias (LATAM, GOL, Azul, etc).

O sistema deverá:
• Monitorar automaticamente sites e programas de fidelidade em busca de promoções com milhas;
• Filtrar ofertas com base em critérios como datas, valores e destinos;
• Registrar essas ofertas em Google Sheets ou painel web;
• Enviar as ofertas automaticamente para Telegram ou WhatsApp (via Z-API ou alternativa);
• Ser entregue com documentação básica para uso e manutenção.

Habilidades desejadas:
• Web Scraping (Python com BeautifulSoup/Selenium, ou outra tecnologia)
• Integração com APIs (se aplicável)
• Automatizações com Make, Zapier ou scripts customizados
• Bots para WhatsApp e/ou Telegram
• Noções básicas de UI para painel web (desejável)

Entregáveis esperados:
• Robô minerador funcional
• Integração com Google Sheets ou painel para visualização
• Envio automatizado para grupo de WhatsApp/Telegram
• Suporte básico na implementação inicial
• Documentação técnica simples

Observações:
• Já tenho uma ideia clara do fluxo e posso orientar durante o projeto;
• Busco alguém que possa entregar um sistema funcional e confiável;
• Projetos futuros poderão ser negociados, caso o resultado seja satisfatório.

DESCRIÇÃO:
Converter script Python que já existe e está anexado nessa demanda para um workflow n8n à prova de falhas.

Não é para me cobrar criação de código ou configuração de ambiente n8n, leia tudo abaixo!

O QUE O CÓDIGO DE HOJE JÁ FAZ:
1 - Realiza login em portal web (casadomedico.stokki.com.br), obtendo e utilizando token CSRF (atualmente via Selenium).
2 - Gera um relatório via chamada API (POST) e aguarda/verifica sua disponibilidade (GET).
3 - Baixa o relatório gerado (formato a confirmar no processo, provavelmente XLSX).
4 - Valida a integridade/recebimento do arquivo baixado (ex: verifica se não está vazio).
5 - Processa/lê os dados do relatório (script atual assume leitura para envio ao BigQuery).
6 - Envia os dados processados para o Google BigQuery, utilizando o modo WRITE_TRUNCATE (substitui dados existentes).
7 - Confirma o sucesso do envio ao BigQuery (script atual não detalha a confirmação, mas o workflow n8n deve incluir uma verificação pós-upload, se possível).

PONTOS DE ATENÇÃO:
- Risco de falha no login/CSRF se cookies e token não forem mantidos entre requisições.
- Requisições e polling sem timeouts, retries/back-off, limite de tentativas ou smoke tests de selectors podem travar ou loopar o workflow.
- Download vazio/corrompido e acúmulo de arquivos temporários podem interromper o processo e estourar o storage.
- Ausência de WRITE_TRUNCATE e falta de monitoramento de quotas no BigQuery podem gerar duplicação de dados ou erros silenciosos de cota.
- Hard-code de credenciais expõe segredos; use só ENV vars ou n8n Credentials.
- Falta de logs claros e notificações de erro/sucesso deixa falhas passarem despercebidas.
- Sem versionamento do workflow e testes em homologação, mudanças no site ou no fluxo podem quebrar tudo sem possibilidade de rollback.

ENTREGÁVEIS:
- Workflow n8n finalizado (JSON), exaustivamente testado, otimizado para performance e confiabilidade, e com notas explicativas nos nós. (Obs: Já tenho meu ambiente n8n, não faz parte do seu trabalho ajustar isso.)

Estou em busca de um(a) freelancer com experiência em criação de testes unitários e automatizados para revisar e testar projetos desenvolvidos em diferentes stacks.

O trabalho consiste em:

Escrever testes unitários utilizando:

• pytest (Python)
• Cypress (testes E2E com foco em front-end)
• Vitest (Vue com Vite)

Ajudar a melhorar a cobertura de testes.

Identificar possíveis pontos de falha.

Garantir que as funcionalidades estejam bem testadas e confiáveis.

Os projetos variam entre aplicações web frontend e backend. É essencial que você tenha boa organização, entenda os princípios de TDD/BDD e saiba ler e entender código de terceiros.