Pesquisar

Scraping de dados de 3 sites governamentais

15/05/2022 às 20:08

Descrição do Projeto:

Projeto para extração de dados públicos (scraping) de cargos e remunerações dos servidores públicos ativos e inativos de 3 estados brasileiros.

De maneira geral, o projeto é o seguinte (os pdfs contém os detalhes):

Coletaremos as informações apenas do mês de março de 2022 (ou do último mês disponível).

Os dados gerais (podemos ter mais dados coletados) a serem coletados nos sites: Nome do Servidor; Identificação Exclusiva do Servidor (CPF, Matrícula e etc.); Situação do Servidor (Ativo, Inativo, Pensionista e etc.); Órgão; Cargo; Remuneração Bruta; Remuneração Líquida.

Os dados de cada estado seriam entregues em .csv.

Informações dos dados dos estados a serem coletados:

1. Mato Grosso (MT)

1.1 Servidores ativos: http://www.transparencia.mt.gov.br/-/servidores-em-atividades
A página inicial mostra apenas matrícula, nome (servidor), remuneração bruta (vantagens) e remuneração líquida (pós descontos); Para obter as demais informações, é necessário acessar cada nome. Nessas páginas "individuais", seria necessário extrair "Órgão", "Categoria", "Setor" e "Cargo".

1.2 Servidores inativos: http://www.transparencia.mt.gov.br/-/servidores-aposentados
A primeira página abre uma seleção por órgãos, em por nome do servidor e em seguida as informações individuais.

2. Rio Grande do Norte (RN)

2.1 Servidores Ativos e Inativos: http://servicos.searh.rn.gov.br/searh/Remuneracao
Na página inicial, selecionar mês e ano e marcar a opção de "pesquisar por órgão". Abre uma página com os órgãos e, assim, é necessário acessar cada um deles. Na página de cada órgão, já aparecem as informações que precisamos. Porém, a opção de download do .csv só traz a informação dos 20 nomes que estão na tela... Assim, é necessário percorrer todas as páginas.

3. Roraima (RR)

3.1 Servidores ativos: https://www.transparencia.rr.gov.br/index.php/servidores/folha-de-pagamento
Gera uma primeira página com algumas informações pessoais, mas é preciso clicar em cada nome para obter os dados da remuneração.

Obrigado pela atenção.

Habilidades desejadas:

Web Crawling Web Scraping

Arquivos anexados:

Entre ou Cadastre-se para ver os arquivos anexados.

Atividades do cliente nesse projeto:

Última visualização: 28/05/2022 às 16:40

Última interação: 18/05/2022 às 10:21

Informações adicionais

Categoria: Web, Mobile & Software
Subcategoria: Outra - Web, Mobile & Software
Orçamento: Aberto
Nível de experiência: Intermediário
Visibilidade: Público
Propostas: 10
Propostas excluídas: 9
Interessados: 18
Valor Mínimo: R$ 50,00

Cliente

Freelancer vencedor

Propostas (1)
  • Freelancer novo Promovida Aceita Aceita Rejeitada

    Submetido: | Oferta: Privado | Duração estimada: Privado

Nenhuma proposta foi encontrada.

Carregando...
Projetos semelhantes no 99Freelas

Programa para cálculo de fechamento 3 de 4 com redução e reposição - Quero um programa para rodar números. Exemplo: tenho de 1 a 10. A ideia é dividir sempre por 4: - 1 a 3 - 4 a 6 - 7 a 8 - 9 a 10 Agora quero aplicar o fechamento matemático 3...

Bot de vendas para gestão de grupos VIP no Telegram - Tenho um canal exclusivo no Telegram e quero saber a possibilidade e o preço de criar um bot similar ao Fusion (https://t.me/gerenciador_grupos_vip_bot) ou com a mesma dashboard do PinkBot (...

Configurar bot de moderação para servidor Discord - Estou finalizando a criação de um servidor no Discord. Falta apenas a parte de moderação (bot). Gostaria de alguém para configurar o bot no servidor. Não &...

Bot de vendas para gestão de grupos VIP no Telegram - Tenho um canal exclusivo no Telegram e quero saber a possibilidade e o preço de criar um bot similar ao Fusion (https://t.me/gerenciador_grupos_vip_bot) ou com a mesma dashboard do PinkBot (...

Coletor de dados para plataforma de apostas - Estamos buscando um desenvolvedor experiente para criar um coletor de dados robusto e confiável, focado no jogo Mega Sic Bo de uma plataforma de apostas online. O objetivo principal é...

Carregando...

Carregando...

Pesquisar

FREELANCERS
PROJETOS
Ocorreu um erro inesperado. Caso o erro persista, entre em contato conosco através do e-mail suporte@99freelas.com.br.