Andre Y.

Projetos (Aguardando Propostas):

• Web scraping no Parts-Unlimited utilizando Excel

  Outra - Web, Mobile & Software | Orçamento: Aberto | Publicado: | Propostas: 16

  Tenho uma relação de produtos da qual preciso coletar as descrições técnicas, detalhes e demais informações no site do fornecedor (https://www.parts-unlimited.com/). Essa relação de produtos sempre será colocada na planilha Excel, e nessa mesma planilha deverão ser inseridos os dados coletados no site Parts-Unlimited.
  
  Esse processo de scraping será contínuo, sempre adicionarei novos produtos (códigos de produto) nessa planilha.
  
  Portanto, esse scraping deverá funcionar da seguinte forma:
  0) Fazer login automaticamente no site (senhas e login serão colocados em uma aba da planilha Excel) - caso tenha erro ao logar, deverá ter algum retorno, sinalizando tal erro e não persistir depois da terceira tentativa para logar.
  1) Pegar o código do produto em nossa planilha Excel (coluna A) e buscar informações sobre este produto dentro do site do fornecedor (tem um local para localizar produto dentro do site).
  2) Ao encontrar o produto anunciado, deverá coletar as seguintes informações e preencher na planilha Excel:
  • Link do produto localizado (do site do fornecedor):
  • Descrição título:
  • Sub descrição título:
  • Features (informações devem vir de forma organizada):
  • Specs (informações devem vir de forma organizada):
  • Part codes:
  • Part notices:
  • Certifications:
  • References (deverá copiar o link de todas as referências):
  • Package info:
  • View size chart (ressalta-se que para cada tipo de produto, haverá informações específicas):
  • Vídeo: (quando houver vídeo no produto, pegar o link do vídeo)
  • Imagens: copiar o link de todas as imagens de cada produto (nome completo - salvar imagens com o nome do produto-X // X=número da imagem do produto)
  • Substituição OEM da peça:
  • Tabela de ajustes detalhada da peça:
  • Texto de ajustes detalhado da peça:
  • Link para catálogo da peça:
  • Imagem do diretório da peça:
  • Vídeo detalhado da peça.
  
  3) Se não encontrar nenhum produto na busca, informar na planilha que não encontrou nenhum produto.
  4) Deverá prever uma solução para que o Parts-Unlimited não trave (imaginando que seja um robô buscando informações constantemente). Talvez fazer o robô trabalhar em intervalos de tempo (caso isso seja interessante).
  5) O robô deverá salvar as imagens do produto em um caminho local (em área administrativa, iremos informar ao robô onde salvar as imagens e demais documentos baixados).
  6) O robô deverá ter um sistema para salvar a planilha de tempos em tempos.
  7) O robô deverá ter uma auto conferência para verificar se coletou todas as informações da página do fornecedor.
  8) O robô deverá criar uma pasta específica para cada produto (cada pasta com o código do produto).
  
  Ao final do projeto, deverá disponibilizar o código fonte.

  Habilidades desejadas: Selenium, Python, Programação, Web Scraping e Excel.

• Criar bot para interagir, coletar dados e baixar documentos de site

  Outra - Web, Mobile & Software | Orçamento: Aberto | Publicado: | Propostas: 14

  Olá, ressalto que já possuímos um sistema funcionando (caso necessário), mas precisaríamos refazer esse sistema para melhorarmos algumas coisas (caso seja necessário, podemos enviar o código fonte do que temos em funcionamento). Enfim, seguem as atividades do robô e o que precisamos como melhoria:
  
  Objetivos do robô:
  - Este robô acessa um portal de forma autônoma, entra na parte de cotações/compras e começa a baixar documentos/dados dos processos de cotações/compras.
  - Este robô trabalha em sintonia com uma planilha Excel, da qual ele mesmo se organiza para saber quais são os processos de cotações/compras que deverão ser coletados e também retroalimenta a planilha com as ações que já foram executadas.
  
  Melhorias que precisamos:
  - Sair do Excel e trabalharmos com planilha do Google Sheets (online).
  - O próprio robô deverá identificar todos os processos de cotação/compra (automaticamente) e se organizar para baixar todos os processos. (Nota: atualmente esta etapa é manual, nós que alimentamos o robô para que ele baixe as cotações indicadas por nós na planilha Excel).
  - O robô deverá se autogerenciar para não deixar nenhuma cotação/compra sem ser baixada. Deverá ter redundâncias para não deixarmos nenhuma licitação sem ser baixada. Exemplo: sempre que ele identificar que não baixou um processo, ele muda algum status e logo saberá que precisará retornar para aquela linha para tentar baixar novamente. Mas, caso persista a dificuldade, não deve parar de funcionar, deve passar para o próximo processo.
  - Deverá ter uma autoconferência para que todos os documentos e informações tenham sido realmente baixados do portal.
  - O sistema deverá se auto-organizar com os logins (acesso ao portal é com senha) cadastrados na própria planilha do Google. Deverá trazer qualquer informação de eventuais problemas para fazer o login (o profissional deverá rastrear todos os eventuais problemas que podem surgir no login e prever uma solução). Não deixar que o robô fique tentando resolver erro de senha, pois, depois da quinta tentativa com senha incorreta, trava o login.
  - Deverá organizar o Google Drive para que todas as licitações baixadas sejam colocadas em suas devidas pastas (dentro do Drive - Google). As pastas serão criadas e organizadas (se necessário, subpastas) pelo próprio robô.
  - As informações, dados, documentos, etc., deverão ser colocadas na planilha do Google Drive de forma online, automática e imediata.
  - O bot deverá ser desenvolvido para trabalhar com diversas abas de navegação (caso seja esta a solução), na mesma máquina (sem precisar deixar várias máquinas ligadas rodando os bots). Ressalto que gostaríamos de colocar o mesmo robô para funcionar ao mesmo tempo em 2, 3 ou 4 empresas diferentes. Além disso, que este sistema seja possível de colocar para funcionar em mais de uma máquina ao mesmo tempo (de forma independente).
  - O bot deverá ser capaz de autogerenciar (com prioridades - pegar os dados das cotações/compras que estejam encerrando mais próximo) para baixar documentos e declinar licitações automaticamente, mas deverá também permitir que uma ordem de atividades seja informada por nós (talvez alterando as cotações/compras na planilha do Google de forma manual).
  - O robô deverá trabalhar com diversos logins de acesso ao portal ao mesmo tempo; caso um login não funcione, ele utilize outro login. (Atualmente precisa de uma intervenção ao fazer login, pois, é enviado uma senha/código ao e-mail, que devemos colocar na tela de navegação onde estão as cotações/compras.)
  - Preciso incluir esses detalhes aqui no nosso escopo:
  • Um fluxograma do código
  • Um documento com a lógica e bibliotecas aplicadas
  • Código muito bem comentado.

  Habilidades desejadas: Google Sheets, Python, Desenvolvimento AI/RPA, Makerbot e Automação de processos robóticos.