Tehke visioonilisi veebiuuringuid, kasutades süvaveebilisi andmeid ja Exceli veebipäringuid

Reklaam

Mida ütleksite, kui ma ütleksin teile, et teie käsutuses on tööriistad murranguliste, maad purustavate uuringute tegemiseks? Noh, te teete ja ma näitan teile, kuidas.

Valitsused, akadeemilised asutused ja mittetulunduslikud teadusorganisatsioonid avaldavad avalikkusele täieliku teabega tabeleid. Ilma, et keegi seda teavet kasutaks, ei saa selle tõelist väärtust kunagi teada. Kahjuks on vähestel inimestel ülevaade, oskused või tööriistad andmete võtmiseks ja näiliselt seostamata teabe vahel huvitavate seoste loomiseks.

Taust

Paljud uuringud, mida ma oma ajaveebide jaoks teen, hõlmavad nn nähtamatu veeb 12 parimat otsingumootorit nähtamatu veebi uurimiseksGoogle ega Bing ei saa kõike otsida. Nähtamatu veebi uurimiseks peate kasutama neid spetsiaalseid otsingumootoreid. Loe rohkem , avalikkusele avaldatud, kuid varjatud andmete paljastamiseks otsingumootorid 5 kõige täpsemat otsingumootorit veebis Loe rohkem veebiandmebaasis. See on sügav veeb TorSearch soovib olla sügava veebi Google

Tor on varjatud teenus ja osa süvaveebist. TorSearch on uus anonüümne otsimootor, mille asutaja Chris MacNaughton soovib muuta Google'i Toriks. Loe rohkem , ja see on rikkalik väärtuslike andmetega. Väga sageli puutun ma kokku veebisaitidega, mis on täis kõige väärtuslikumat teavet teemadel, mis hõlmavad loendusandmeid ja haruldaste haiguste epidemioloogilisi uuringuid. Mul on pidevalt uusi ideid, kuidas proovida neid erinevaid andmete allikaid mitmesuguste abil omavahel seostada tööriistad - ja üks kõige väärtuslikumaid tööriistu, mille ma leidsin, on Microsofti veebipäring Excel.

Huvitavate andmete korrelatsioonide leidmine

Mida ma teile täna näitan, on näide sellest, kuidas saate kasutada Exceli veebipäringuid andmete kogumiseks erinevaid veebisaite ja kaardistage need üksteise suhtes, et otsida potentsiaalseid seoseid veebisaitide vahel andmed.

Niisuguse treeningu alustamiseks on huvitav hüpotees. Näiteks, et siin asjad huvitavad oleksid, postuleerin juhuslikult Ameerika Ühendriikide autismi määrade kiirenemist on põhjustatud kas vaktsiini nakatumisest või kasvavast elektromagnetiliste väljade, näiteks raku, esinemisest lastel ja nende ümbruses telefonid. See on hull hüpotees, mille sarnaseid leiate enamikult vandenõuteooria veebisaitidelt, kuid just see teebki selle lõbusaks. Alustame siis?

Esiteks avage Excel, minge üle andmemenüü üksusele ja leidke menüüribalt ikoon “Veebist”.

See on see, mida kasutate erinevate andmetabelite importimiseks paljudel seal avaldatud veebisaitidel.

Veebiandmete importimine Excelisse

Nii et vanasti oleksite pidanud proovima selle tabeli andmeid veebilehele kopeerida, Excelisse kleepida ja seejärel tegeleda kõigi selle tegemisega seotud hullumeelsete vorminguprobleemidega. Täiesti vaeva ja palju kordi pole see lihtsalt peavalu väärt. Noh, Exceli veebipäringutega on need päevad möödas. Muidugi, enne kui saate andmeid importida, peate Google'i otsima veebis, et leida vajalikud andmed tabelivormingus. Minu puhul leidsin veebisaidi, kus oli avaldatud haridusosakonna statistika nende USA riigikoolide õpilaste arvu kohta, kellel tuvastati autism. Kena tabel seal sisaldas numbreid aastast 1994 kuni 2006. aastani.

Klõpsate lihtsalt nupul „Veebist”, kleepige päringu aadressiväljale veebilehe URL ja kerige seejärel lehte allapoole, kuni näete imporditavate andmetega tabeli kõrval kollast noolt.

Klõpsake noolt, et see muutuks roheliseks linnukeseks.

Lõpuks öelge Excelile, millisel väljal soovite tabeli andmed oma uue arvutustabeli sisse kleepida.

Siis - Voila! Andmed voolavad automaatselt otse teie arvutustabelisse.

Seega, kui avalike koolide autismimäärad aastatel 1996–2006 on paika hakanud, on aeg minna välja otsima ka vaktsineerimise ja mobiiltelefonide kasutamise suundumusi.

Õnneks leidsin USA-s kiiresti mobiiltelefonide tellijate suundumused aastatel 1985 kuni 2012. Suurepärased andmed selle konkreetse uuringu kohta. Selle tabeli importimiseks kasutasin jällegi Exceli veebipäringu tööriista.

Impordisin selle laua puhtale uuele lehele. Seejärel avastasin erinevate haiguste vastu vaktsineeritud koolinoorte vaktsineerimise suundumused protsentides. Impordisin selle tabeli veebipäringu tööriista abil kolmandale lehele. Nii et lõpuks oli mul kolm lehte kolme tabeliga täidetud näiliselt seoseta andmetega, mille olin veebist avastanud.

Järgmine samm on Exceli kasutamine andmete analüüsimiseks ja korrelatsioonide tuvastamiseks. Seal tuleb mängu minu üks lemmikandmete analüüsi tööriistu - PivotTable.

Andmete analüüsimine Excelis rakenduse PivotTable abil

Parim on luua oma PivotTable uhiuue tühja lehena. Soovite kasutada viisardit selleks, mida teete. PivotTable-viisardi lubamiseks Excelis peate vajutama samal ajal Alt-D, kuni ilmub teavitusaken. Seejärel laske need nupud lahti ja vajutage “P” nuppu. Siis näete viisardi hüpikakent.

Nõustaja esimeses aknas soovite valida „Mitu konsolideerimise vahemikku”, mis võimaldab teil valida andmeid kõigi imporditud lehtede hulgast. Seda tehes saate koondada kõik need pealtnäha sõltumatud andmed ühte, võimsasse pöördetavasse kohta. Mõnel juhul peate võib-olla mõnda teavet masseerima. Näiteks pidin autismi tabelis fikseerima välja “Aasta” nii, et see näitas asemel “1994” “1994-95” - muutes selle paremaks joondamiseks teiste lehtede tabelitega, millel oli ka peamine aasta põld.

See andmete vaheline ühine väli on vajalik teabe proovimiseks ja korrelatsiooniks, nii et pidage seda meeles, kui jagate veebis oma andmeid.

Kui PivotTable on valmis ja kui kõik erinevad andmeväärtused on kuvatud ühes tabelis, on aeg teha visuaalne analüüs, et näha, kas teil on mõni ilmne seos, mis teie ees hüppab.

Andmete visualiseerimine on võti

Hulga numbrite olemasolu tabelis on suurepärane, kui olete majandusteadlane, kuid see on kiireim ja lihtsaim viis et “aha!” hetk, kui proovite heinakuhjas nõela abil ühendusi leida, on graafikute ja graafikud. Kui olete PivotCharti koos kõigi kogutud andmekogumitega paigas, on aeg oma graafik luua. Tavaliselt saab kõige paremini joonegraafik, kuid see sõltub andmetest. On aegu, kus tulpdiagramm töötab palju paremini. Proovige aru saada, milliseid andmeid te vaatate ja millised vormingu võrdlused toimivad kõige paremini.

Sel juhul vaatan andmeid aja jooksul, seega on joongraafik tõesti parim viis aastate trendide nägemiseks. Kaardista autismi määr (roheline) vähendatud vaktsineerimise määra (tumesinine), tuulerõugete vaktsiinide (helesinine) suhtes ja mobiiltelefonide kasutamisel (lilla), ilmnes selles proovinäidetes, mida ma mängisin, ootamatult veider korrelatsioon koos.

Kummalisel kombel oli mobiiltelefonide kasutamise suundumus ajavahemikus 1994–2006 peaaegu ideaalselt võrreldav autismimäära tõusuga samal ajavahemikul. Kuigi muster oli täiesti ootamatu, on see suurepärane näide sellest, kuidas huvitavate andmete sidumine võib tuua põnevaid müügivihjeid - pakkudes teile suuremat teadlikkust ja motivatsiooni edasi liikuda ja otsida rohkem andmeid, mis võivad teie teavet veelgi tugevdada hüpotees.

Üks ülaltoodud korrelatsioon ei tõesta midagi. Aja jooksul tõuseb palju suundumusi - muster võib olla juhus, kuid see võib olla ka oluline vihje teie jätkuvatele otsingutele Internetis lisateabe saamiseks. Õnneks on teil võimas tööriist nimega Excel Web Queries, mis muudab selle otsimise natuke lihtsamaks.

Foto krediit: Kevin Dooley kaudu fotopinkoopia