Data Scrapping + rCharts + Energia

Dois temas recentes (e bastante correlacionados) devem permear a agenda política, dado o calendário eleitoral: a situação energética do país e o abastecimento de água no Estado de São Paulo. Porém, confesso que é um pouco difícil formar qualquer opinião sobre os temas dado o tom alarmista de quase todos os veículos de comunicação e a quantidade de especialistas dos setores que aparecem nos momentos mais críticos. Afinal, estamos vivendo um período crítico de desabastecimento de água e energia? Em caso afirmativo: i) Qual a principal razão?; ii) As medidas possíveis para evitar essa situação foram tomadas? Já adianto que não vou conseguir responder nenhuma dessas questões. Mas trago aqui alguns dados que tangenciam as questões, começando pelo setor elétrico (tentarei explicar em uma próxima publicação o passo-a-passo para criação desse post). Continue lendo

Publicado em Dados Públicos, Data Scrapping, R | Deixe um comentário

Foreign key [2]

Em sequência à série que criei há quase 1 mês, recomendo a leitura do artigo abaixo que traz uma discussão sobre a relação entre disseminação de ideias/estratégias de argumentação e o display visual das informações.

http://pubs.aeaweb.org/doi/pdfplus/10.1257/jep.28.1.209

Publicado em Uncategorized | Deixe um comentário

Passo-a-Passo: Data Scraping – Aliceweb

Na publicação sobre os dados de atrasos nos aeroportos tangenciei um tema que é recorrentemente o principal obstáculo na análise de algum fenômeno relevante a partir de um conjunto de dados: a dificuldade associada à extração de bases de dados consistentes e organizadas, mesmo que disponibilizadas de forma padronizada. Para os que não ouviram falar, Data scraping (ou raspagem de dados) é nome que se dá à técnica através da qual procura-se extrair dados proveniente de algum programa para algum outro programa de computador, de uma maneira legível; web scraping nada mais é que um subgrupo para o qual a técnica consiste em extrair dados disponíveis em websites. Continue lendo

Publicado em Dados Públicos, Data Scrapping, Passo-a-Passo | Marcado com , | Deixe um comentário

Foreign key [1]

Como é difícil manter a frequência de publicações “originais”, vou iniciar no blog a referência a outras fontes de informação. Todas as publicações desse tipo terão o título acima (Foreign Key). O primeiro link é para o site PAC Info, um dos vencedores do Concurso Nacional de Dados Abertos, que traz uma visualização bem legal das obras do PAC, com detalhes sobre o valor contratado e estágio atual da obra.

Publicado em Uncategorized | 1 Comentário

Acidentes nas rodovias federais

Heat map dos acidentes nas rodovias federais (2012)

Heat map dos acidentes nas rodovias federais (2012)

Existem dois temas recorrentes nas análises que procuro trazer nas publicações do blog. O primeiro é sobre a dificuldade de conseguir dados públicos de maneira estruturada, apesar do Brasil ser um país bastante avançado na coleta de dados (são poucos países no mundo que realizam um Censo tão estruturado quanto o nosso, que possuem uma pesquisa de orçamento familiar de qualidade, que possuem uma coleta de dados organizada sobre entrada e saída de bens, etc.). Quase que inexplicavelmente, nosso grande defeito está na divulgação pouco adequada, tanto no sentido da organização das informações quanto da publicidade que se dá para os dados. Continue lendo

Publicado em Dados Públicos, Mapas, R | Deixe um comentário

Séries Temporais do Bacen no Excel

Esse post é um pouco mais árido que os anteriores e provavelmente não interessará a tantas pessoas. Mas como gastei um bom tempo para conseguir criar uma função no Excel que baixasse automaticamente valores específicos de séries do site do Banco Central, resolvi compartilhar aqui a solução. A macro é bastante simples e é possível que haja uma maneira mais elegante de realizar essa tarefa; porém, foi o melhor que consegui fazer. Continue lendo

Publicado em Dados Públicos, Excel, Passo-a-Passo | Deixe um comentário

Mapa das subprefeituras no Excel

Trabalhar com mapas, dados e apresentações sempre envolve alguma dificuldade decorrente da utilização de múltiplos softwares para realizar cada um das tarefas relacionadas à criação das imagens. Apenas considerando os mapas, existem diversos programas, alguns pagos outros de graça, para as mais diversas finalidades e com uma vasta gama de complexidade. Eu recorro invariavelmente ao OpenJump que é fácil de instalar e usar. Mas apesar da diversidade, na maior parte das vezes o que queremos é uma visualização rápida de alguns dados em um mapa simples e quase sempre os dados estão em uma planilha. Continue lendo

Publicado em Dados Públicos, Excel, Mapas | Deixe um comentário