Faça visionary estudos de pesquisa da web usando deep web dados e excel web queries

O que você diria se eu lhe disser que você tem as ferramentas à sua disposição para fazer inovador, pesquisa a terra tremer? Bem, você faz, e eu vou mostrar-lhe como.

Governos, instituições acadêmicas e organizações de investigação sem fins lucrativos publicar tabelas cheias de dados para o domínio público. Sem que ninguém usando esta informação, o seu verdadeiro valor nunca será conhecido. Infelizmente, poucas pessoas têm o discernimento, as habilidades ou as ferramentas para pegar os dados e fazer correlações interessantes entre informações aparentemente desconexas.

fundo

Uma boa parte da pesquisa que eu faço para o meu próprio blog envolve cavar através do que é conhecido como o web invisível, para descobrir dados que foi lançado para o público, mas escondido de motores de busca dentro de um banco de dados online. Isto é o deep web, e é repleta de dados valiosos. Muitas vezes, me deparo com páginas apenas calce-preenchidos com alguns dos dados mais valiosos sobre temas que vão da dados do censo para estudos epidemiológicos sobre as doenças raras. Estou constantemente a ter novas ideias sobre como tentar correlacionar essas diferentes fontes de dados usando várias ferramentas - e uma das ferramentas mais valiosas que eu encontrei é a consulta na Web dentro do Microsoft Excel.

Encontrar Correlações dados interessantes

O que eu vou mostrar para você hoje é um exemplo de como você pode fazer uso do Excel Web consultas para obter dados a partir de diferentes sites, e traçar-los uns contra os outros, a fim de procurar possíveis correlações entre os dados.

A maneira de começar um exercício como este é para chegar a uma hipótese interessante. Por exemplo - para manter as coisas interessantes aqui - eu vou postular aleatoriamente que a disparada taxas de autismo nos Estados Unidos são causados ​​por qualquer inoculações da vacina ou a crescente presença de campos eletromagnéticos e em torno de crianças, tais como telefones celulares. É uma hipótese louca do tipo que você encontrará na maioria dos sites da teoria de conspiração, mas isso é o que torna este divertido. Então vamos começar, vamos?

Primeiro, abra o Excel, vá até o item de menu de dados, e encontrar o ícone "From Web" na faixa de opções do menu.

web-query-excel1

Isto é o que você vai usar para importar as diferentes tabelas de dados entre os muitos website lá fora, que publicaram-los.

Importação de dados da Web em Excel

Assim, nos velhos tempos, você teria que tentar copiar os dados dessa tabela em uma página web, colá-lo no Excel, e depois lidar com todos os problemas de formatação loucos envolvidos em fazer isso. aborrecimento total, e um monte de vezes que ele simplesmente não vale a pena a dor de cabeça. Bem, com o Excel Web Queries, esses dias acabaram. Claro que, antes de importar os dados, você vai precisar para o Google o seu caminho em torno da Web para encontrar os dados que você precisa em formato de tabela. No meu caso, eu encontrei um site que publicou as estatísticas do Departamento de Educação para o número de norte-americanos estudantes de escola pública que foram identificados como tendo autismo. Uma boa mesa não forneceu números, de 1994 até o fim de 2006.

Então, basta clicar em "Do Web", cole o URL da página Web no campo de endereço consulta e, em seguida, role a página até ver a seta amarela ao lado da mesa com os dados que você deseja importar.

web-query-Excel2



Clique na seta para que se torne uma marca de seleção verde.

web-query-excel3

Por fim, dizer Excel que campo você deseja colar os dados da tabela para dentro de sua nova planilha.

web-query-Excel4

Então - Voila! Os dados fluem automaticamente para a direita em sua planilha.

web-query-excel5
Assim, com uma tendência de taxas de autismo de escolas públicas de 1996 - 2006 no lugar, é hora de sair em busca de vacinação e as tendências de uso de telefone celular também.

Felizmente, eu encontrei rapidamente tendências para assinantes de telefones celulares em os EUA de 1985 a 2012. Os dados excelentes para este estudo particular. Mais uma vez, eu usei a ferramenta Excel Web Query para importar essa tabela.

web-query-excel6

I importado que a tabela em uma nova folha limpa,. Então, eu descobri as tendências de vacinação para a percentagem de crianças em idade escolar vacinadas para diferentes doenças. I importado que a tabela utilizando a ferramenta de consulta à Web em uma terceira folha. Então, finalmente, eu tinha três folhas com as três mesas com os dados aparentemente desconexos eu tinha descoberto na web.

web-query-excel8

O próximo passo, é usar o Excel para analisar os dados e tentar identificar quaisquer correlações. É aí que uma das minhas ferramentas favoritas de análise de dados entra em jogo - a tabela dinâmica.

Analisando dados no Excel com a tabela dinâmica

É melhor para criar a tabela dinâmica numa folha de novo, vazio. Você quer usar o assistente para o que você está prestes a fazer. Para ativar o assistente de tabela dinâmica no Excel, você precisa pressionar Alt-D, ao mesmo tempo até que uma janela de notificação aparece. Em seguida, deixar ir desses botões, e pressione a tecla "P". Em seguida, você verá o pop up wizard.



web-query-excel10

Na primeira janela do assistente, que pretende seleccionar "vários intervalos de consolidação", que permite que você selecione os dados de todas as folhas que você importou. Ao fazer isso, você pode consolidar todos os dados aparentemente não relacionados em um, tabela dinâmica poderosa. Em alguns casos, pode ser necessário para massagear alguns dos dados. Por exemplo, eu tive que corrigir o campo "Ano" na tabela de autismo para que ele mostrou "1994" em vez de "1994-1995" - tornando-se alinham melhor com as mesas nas outras folhas, que também teve o ano primário campo.

web-query-excel11

Isso campo comum entre os dados é o que você precisa, a fim de tentar e correlacionar informações, de modo a manter isso em mente quando você está caçando na Web para seus dados.

Uma vez que a tabela dinâmica é feito e você tem todos os diferentes valores de dados exibidos em uma tabela, é hora de fazer uma análise visual para ver se há alguma conexão óbvia que salta à vista.

Visualização de dados é chave

Ter um monte de números em uma tabela é grande se você é um economista, mas a maneira mais rápida e mais fácil de ter que "aha!" Momento quando você está tentando encontrar conexões como uma agulha em um palheiro, é por meio de gráficos e gráficos. Depois de ter seu gráfico dinâmico no lugar com todos os conjuntos de dados que você coletou, é hora de criar seu gráfico. Normalmente, um gráfico de linha fará o melhor, mas depende dos dados. Há momentos em que um gráfico de barras funciona muito melhor. Tente compreender que tipo de dados que você está olhando e que forma comparações funcionam melhor.

Neste caso, eu estou olhando para os dados ao longo do tempo, de modo que um gráfico de linha é realmente a melhor maneira de ver as tendências ao longo dos anos. taxas de autismo gráficos (verde) em relação às taxas em escala reduzida de vacinação (azul escuro), vacinas varicela (azul claro) e uso do telefone celular (roxo), uma correlação estranha, de repente apareceu neste conjunto de amostras de dados que eu estava brincando com.

web-query-excel12

Curiosamente, a tendência no uso do telefone celular, de 1994 a 2006 quase perfeitamente combinado da subida das taxas de autismo em relação ao mesmo período de tempo. Embora o padrão foi completamente inesperado, é um exemplo perfeito de como amarrar juntos dados interessantes podem revelar pistas fascinantes - proporcionando-lhe uma maior visão e motivação para continuar a empurrar para a frente e busca de mais dados que possam reforçar ainda mais a sua hipótese.

Uma correlação como essa acima não prova nada. Há uma abundância de tendências que surgem ao longo do tempo - o padrão poderia ser coincidência, mas também pode ser uma pista importante em sua busca contínua de mais dados sobre a Internet. Felizmente, você tem uma ferramenta poderosa chamada Excel Web As consultas que vai fazer essa busca apenas um pouco mais fácil.

Crédito da foto: Kevin Dooley através da photopin cc

» » Faça visionary estudos de pesquisa da web usando deep web dados e excel web queries