Pesquisar

Scraping de dados de 3 sites governamentais

15/05/2022 às 20:08

Descrição do Projeto:

Projeto para extração de dados públicos (scraping) de cargos e remunerações dos servidores públicos ativos e inativos de 3 estados brasileiros.

De maneira geral, o projeto é o seguinte (os pdfs contém os detalhes):

Coletaremos as informações apenas do mês de março de 2022 (ou do último mês disponível).

Os dados gerais (podemos ter mais dados coletados) a serem coletados nos sites: Nome do Servidor; Identificação Exclusiva do Servidor (CPF, Matrícula e etc.); Situação do Servidor (Ativo, Inativo, Pensionista e etc.); Órgão; Cargo; Remuneração Bruta; Remuneração Líquida.

Os dados de cada estado seriam entregues em .csv.

Informações dos dados dos estados a serem coletados:

1. Mato Grosso (MT)

1.1 Servidores ativos: http://www.transparencia.mt.gov.br/-/servidores-em-atividades
A página inicial mostra apenas matrícula, nome (servidor), remuneração bruta (vantagens) e remuneração líquida (pós descontos); Para obter as demais informações, é necessário acessar cada nome. Nessas páginas "individuais", seria necessário extrair "Órgão", "Categoria", "Setor" e "Cargo".

1.2 Servidores inativos: http://www.transparencia.mt.gov.br/-/servidores-aposentados
A primeira página abre uma seleção por órgãos, em por nome do servidor e em seguida as informações individuais.

2. Rio Grande do Norte (RN)

2.1 Servidores Ativos e Inativos: http://servicos.searh.rn.gov.br/searh/Remuneracao
Na página inicial, selecionar mês e ano e marcar a opção de "pesquisar por órgão". Abre uma página com os órgãos e, assim, é necessário acessar cada um deles. Na página de cada órgão, já aparecem as informações que precisamos. Porém, a opção de download do .csv só traz a informação dos 20 nomes que estão na tela... Assim, é necessário percorrer todas as páginas.

3. Roraima (RR)

3.1 Servidores ativos: https://www.transparencia.rr.gov.br/index.php/servidores/folha-de-pagamento
Gera uma primeira página com algumas informações pessoais, mas é preciso clicar em cada nome para obter os dados da remuneração.

Obrigado pela atenção.

Habilidades desejadas:

Web Crawling Web Scraping

Arquivos anexados:

Entre ou Cadastre-se para ver os arquivos anexados.

Atividades do cliente nesse projeto:

Última visualização: 28/05/2022 às 16:40

Última interação: 18/05/2022 às 10:21

Informações adicionais

Categoria: Web, Mobile & Software
Subcategoria: Outra - Web, Mobile & Software
Orçamento: Aberto
Nível de experiência: Intermediário
Visibilidade: Público
Propostas: 10
Propostas excluídas: 9
Interessados: 18
Valor Mínimo: R$ 50,00

Cliente

Freelancer vencedor

Propostas (1)
  • Freelancer novo Promovida Aceita Aceita Rejeitada

    Submetido: | Oferta: Privado | Duração estimada: Privado

Nenhuma proposta foi encontrada.

Carregando...
Projetos semelhantes no 99Freelas

Criação de grupo no Telegram com bots de moderação - Estou buscando um profissional com experiência em automação e gestão de comunidades no Telegram para criar e configurar um grupo profissional, totalmente estruturado e au...

SaaS white label de passagens com automação WhatsApp e DeepSeek - Descrição do projeto: Busco desenvolvedor para criar um SaaS white label de monitoramento de passagens aéreas "surreais" (error fares e promoções 40%+ O...

Plataforma B2B FindMining para compradores e fornecedores de mineração - Plataforma FindMining para conectar demanda e oferta no setor de mineração. Empresas se cadastrariam no site/app e informariam todo o seu portfólio, experiência, servi&cc...

Adicionar funcionalidades ao Velocity Xbox 360 (app open source) - Velocity Xbox 360 Preciso de um programador que adicione recursos e funcionalidades em um programa já existente. OBJETIVOS: 1. Baixar o programa do GitHub e trabalhar com o código-f...

Full-stack developer for multi-tenant real estate platform - We are looking for a developer to build a modern, multi-tenant real estate web application using Next.js (App Router) with a scalable backend powered by MongoDB/Mongoose. The platform will be deplo...

Carregando...

Carregando...

Pesquisar

FREELANCERS
PROJETOS
Ocorreu um erro inesperado. Caso o erro persista, entre em contato conosco através do e-mail suporte@99freelas.com.br.