Backend Python Ler dados CSV e PDF e gravar Server MySQL
04/09/2023 às 16:53Descrição do Projeto:
- BackEnd
- Linguagem Python
- Servidor Localweb (Linux, MySQL)
Rodar rotina no server 23:15h todos os dias:
Resumidamente:
1. Fazer carga em 1 tabela no BD a partir de arquivo(s) PDF(s) em lote (anexo)
2. Ler diariamente 26 arquivos CSV (1 para cada estado do Brasil), tratar os dados e depois inseri-los em um banco de dados MySQL
obs: a tabela é a mesma e as informações também
Detalhadamente:
Carga de Dados
1 - Fazer 1 página WEB simples para carregar 1 PDF de 1 edital (anexo) e gravar dados em 1 tabela no MySQL
Serviço Diário no Servidor:
1- efetuar download do arquivo CSV de cada estado do Brasil, pelo link:
https://venda-imoveis.caixa.gov.br/listaweb/Lista_imoveis_XX.csv
* Sendo XX o estado.
2- depois verificar a data do arquivo CSV (coluna D2). Se for igual ao BD abortar o processo naquele dia. Se for diferente, seguir o fluxo abaixo:
3 - tratar os dados
a) Arrumar colunas desalinhadas. Na coluna H em alguns registros, onde deveria ter o "Preço" as vezes fica um pedaço da coluna G, desalinhando todas as próximas colunas. Corrigir isso
b) Obter o tipo do imóvel na coluna "Descrição". Ex: Casa, apartamento, etc...
c) Obter na mesma coluna "Descrição" o valor numerico da área privativa (ex: 45,9 m2), gravar 45.9
d) Obter na mesma coluna "Descrição" as características do imóvel (2 quartos, sala, cozinha...)
e) Obter o CEP do imóvel, numero do item no edital, numero do edital e data do edital, se aceita financiamento, fgts afim de preencger toda a tabela imovel. Sugestão:
link:
https://venda-imoveis.caixa.gov.br/sistema/detalhe-imovel.asp?hdnOrigem=index&hdnimovel=XXXXXXXX
sendo XXXXX o número do imóvel
f) Calcular o preço do m2 baseando-se na formula:
custo m2 = valor de avaliação / m2
g) atribuir codigo do banco como CEF (codigo: 1)
h) atribuir os campos modalidade e tipo de imovel (conforme informações nas tabelas auxiliares tipo_imovel e modalidade)
4- Gravar dados no Banco de Dados
Caso tenha gravado algum dado no BD, ao final do procedimento enviar um e-mail.
Observação: Esse código deve ser exclusivo desse projeto e desse solicitante.
Habilidades desejadas:
Arquivos anexados:
Entre ou Cadastre-se para ver os arquivos anexados.
Atividades do cliente nesse projeto:
Última visualização: 26/09/2023 às 20:00
Última interação: 06/09/2023 às 18:40
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
Desenvolvimento de software de nutrição com campos personalizáveis - IMPORTANTE: LEIA ANTES DE MANDAR SUA MENSAGEM - PROFISSIONAIS SEM PORTFÓLIO E OU COM PROJETOS INCOMPLETOS NÃO SERÃO CONSIDERADOS NA ANÁLISE. PROJETOS COM TEMPLATES GRATU...
Desenvolvimento de website para escritório de advocacia - Olá, somos da Fujimori Advocacia, um escritório de advocacia brasileiro situado no Japão. Buscamos um profissional para desenvolver o site oficial do nosso escritório, ...
Sistema de aluguel de equipamentos de informatica - Estou em busca de um projeto para aluguel de equipamentos de informática, onde o cliente deverá ter acesso aos contratos, solicitar suporte e suplementos, ter relatórios: de us...
Desenvolvimento de site de questões de concursos e vestibulares - Gostaria de alguém para desenvolver um site de questões de concursos e vestibulares para meu curso preparatório.
Desenvolvimento de website para agência de viagens - Desenvolvimento da página institucional de uma agência de viagens, preferencialmente em WordPress, para inclusão e atualização de conteúdo periodicamente.
