Pesquisar

Scraping de dados de 3 sites governamentais

15/05/2022 às 20:08

Descrição do Projeto:

Projeto para extração de dados públicos (scraping) de cargos e remunerações dos servidores públicos ativos e inativos de 3 estados brasileiros.

De maneira geral, o projeto é o seguinte (os pdfs contém os detalhes):

Coletaremos as informações apenas do mês de março de 2022 (ou do último mês disponível).

Os dados gerais (podemos ter mais dados coletados) a serem coletados nos sites: Nome do Servidor; Identificação Exclusiva do Servidor (CPF, Matrícula e etc.); Situação do Servidor (Ativo, Inativo, Pensionista e etc.); Órgão; Cargo; Remuneração Bruta; Remuneração Líquida.

Os dados de cada estado seriam entregues em .csv.

Informações dos dados dos estados a serem coletados:

1. Mato Grosso (MT)

1.1 Servidores ativos: http://www.transparencia.mt.gov.br/-/servidores-em-atividades
A página inicial mostra apenas matrícula, nome (servidor), remuneração bruta (vantagens) e remuneração líquida (pós descontos); Para obter as demais informações, é necessário acessar cada nome. Nessas páginas "individuais", seria necessário extrair "Órgão", "Categoria", "Setor" e "Cargo".

1.2 Servidores inativos: http://www.transparencia.mt.gov.br/-/servidores-aposentados
A primeira página abre uma seleção por órgãos, em por nome do servidor e em seguida as informações individuais.

2. Rio Grande do Norte (RN)

2.1 Servidores Ativos e Inativos: http://servicos.searh.rn.gov.br/searh/Remuneracao
Na página inicial, selecionar mês e ano e marcar a opção de "pesquisar por órgão". Abre uma página com os órgãos e, assim, é necessário acessar cada um deles. Na página de cada órgão, já aparecem as informações que precisamos. Porém, a opção de download do .csv só traz a informação dos 20 nomes que estão na tela... Assim, é necessário percorrer todas as páginas.

3. Roraima (RR)

3.1 Servidores ativos: https://www.transparencia.rr.gov.br/index.php/servidores/folha-de-pagamento
Gera uma primeira página com algumas informações pessoais, mas é preciso clicar em cada nome para obter os dados da remuneração.

Obrigado pela atenção.

Habilidades desejadas:

Web Crawling Web Scraping

Arquivos anexados:

Entre ou Cadastre-se para ver os arquivos anexados.

Atividades do cliente nesse projeto:

Última visualização: 28/05/2022 às 16:40

Última interação: 18/05/2022 às 10:21

Informações adicionais

Categoria: Web, Mobile & Software
Subcategoria: Outra - Web, Mobile & Software
Orçamento: Aberto
Nível de experiência: Intermediário
Visibilidade: Público
Propostas: 10
Propostas excluídas: 9
Interessados: 18
Valor Mínimo: R$ 50,00

Cliente

Freelancer vencedor

Propostas (1)
  • Freelancer novo Promovida Aceita Aceita Rejeitada

    Submetido: | Oferta: Privado | Duração estimada: Privado

Nenhuma proposta foi encontrada.

Carregando...
Projetos semelhantes no 99Freelas

Script Python para extração, normalização e tipagem de dados - Script em Python que recebe um arquivo e transforma os dados em facts tipados e KPIs calculados. O script tem que: - Extrair e normalizar as linhas. - Tipar cada fact pela estrutura do plano de co...

Desenvolver dois fluxos em n8n e rastreamento de métricas - 1. Automação (form LP -> email, WhatsApp grupo, Pipedrive e planilha Google) 2. Automação (form LP -> planilha Google, email, WhatsApp grupo e Pipedrive) Rastreame...

Especialista em Claude AI para integrações, CRM e automação empresarial - Procuro um freelancer com experiência em Claude AI (Anthropic) para criar integrações e desenvolver um agente inteligente que auxilie nas minhas atividades do dia a dia Sou pr...

Desenvolver robô para replicar sinais de Mega Sic Bac via Telegram - Preciso de um robô para reproduzir os sinais enviados por um bot dentro de um canal do Telegram. 1- Os sinais dados pelo bot são 24 horas, referentes ao jogo Mega Sic Bac no site espo...

Consultoria para compra de PC para trabalho e programação - Pessoal, procuro alguém especializado em hardware para desktop para me dar uma consultoria para compra de um novo PC. Irei comprar as peças separadamente e montar o PC, ou, caso haja...

Carregando...

Carregando...

Pesquisar

FREELANCERS
PROJETOS
Ocorreu um erro inesperado. Caso o erro persista, entre em contato conosco através do e-mail suporte@99freelas.com.br.