Dados

No contexto Brasil os dados disponibilizados pelo Instituto AddressForAll podem ser baixados por município (dados locais) ou ao nível nacional. Entanda a seguir o processo de tratamento e como estes dados sao armazenados e disponibilizados.


Fluxo geral e repositorios de dados

O Instituto recebe dados doados por diversas fontes, tais como prefeituras, IBGE, e OpenStreetMap, que publicam ou transferem por licença aberta (CC0, ODbL ou outra) os dados que produzem.

Os dados do sistema de preservação digital são de uso geral (diversos projetos), e, uma vez homologados, recebem tratamento e garantia de conservação por pelo menos 20 anos.

A segurança e integridade dos dados preservados são garantidas pelo sistema de Eclusa, pela integridade SHA256 a cada arquivo, e pela confirmação pública (seguida de depósito legal na Fundação Biblioteca Nacional). Em caso de arquivo obtido por download de site oficial, datação e registro da URL de acesso é feita através da Wayback Machine.

Dados a cada projeto

A Plataforma de Projetos do Instituto AddressForAll consome os dados preservados pelo Projeto Digital Preservation. Cada projeto faz seu proprio recorte e filtragem de dados preservados.

Dados do Projeto Digital Preservation

O foco da preservacao digital sao "pacotes de dados" cedidos ao dominio publico por um fornecedor de dados primarios, que detem o direito de licenciar grandes quantidades de dados espaciais. Os dados de interesse do Instituto AddressForAll sao eleitos atraves de uma curadoria e submetidos a um processo de convide e selecao.

O Projeto Digital Preservation e mantido publicamente em git.AddressForAll.org/digital-preservation, e as curadoriais locais de cada pais sao soberanas nas suas decisoes, em geral seguindo de perto ou tendo participacao efetiva de membros da comunidade OpenStreetMap do pais. Cada curadoria local tem autonomia de governanca, cumprindo, como entendidade federada, as diretivas gerais do Projeto.

Por exemplo a Curadoria Brasil gerencia seu proprio repositorio em git.AddressForAll.org/digital-preservation-BR. Os dados do repositorios sao tambem obtidos via API:

Dados do Projeto AddressForAll

Em estreita colaboracao em a equipe do Projeto de Preservacao, a equipe de processamento de dados do Projeto AddressForAll segue o workflow ilustrado abaixo, para a selecao e ingestao dos dados, que depois de homologados ficam disponiveis em no git in-BR.

Abaixo o ciclo principal de processamento nos dados relativos a pontos de endereco, reunidos e consolidados pelo projeto.

Verificação

AddressForAll ao receber dados, começa por verificar a licença destes dados (procura-se dados com licença aberta (CC0) ou CCBYSA ou Odbl.

AddressForAll pode ainda receber dados privados que poderão ser utilizados para alguns serviços providos pelo Instituto de maneira anonima.

Integridade

AddressForAll garante a integridade destes dados, armazenando eles de maneira segura por um prazo de 30 anos

Tratamento

AddressForAll trata os dados limpando e organizando-os

Normalização

AddressForAll extrai da combinação dos dados um dado "otimizado" utilizado pelo AddressForAll para prover serviços otimizados através de API. Por exemplo a API de Geolocalização que retorna uma latitude / Longitude quando lhe é submetido um endereço postal.

Para ser informado das novidades, assine nossa newsletter:
Base de endereços do Brasil com Licença Aberta  Logo Licença Aberta