Kuidas importida Interneti UFO-vaatluste andmeid Google'i arvutustabelisse

Reklaam

Veebiandmebaaside ja teabe kohta, mida võib leida nn „nähtamatu veeb 12 parimat otsingumootorit nähtamatu veebi uurimiseksGoogle ega Bing ei saa kõike otsida. Nähtamatu veebi uurimiseks peate kasutama neid spetsiaalseid otsingumootoreid. Loe rohkem “, Ma pole teie tüüpiline kasutaja. Muidugi, ma veedan natuke liiga palju aega oma aega sirvides veebiandmebaasides sellistes kohtades nagu Rahvusarhiiv ja CIA FOIA tuba, kuid ma pean ütlema, et miski ei eruta mind rohkem kui siis, kui ma leian HTML-põhise tabeli, mis on täidetud näiliselt keerukate ja omavahel ühendamata mahtudega andmed.

Fakt on see, et andmetabelid on oluliste tõdede kullakaevandus. Andmeid koguvad sageli armeed andmekogumisnurgad, saapad maas. USA rahvaloenduse inimesed reisivad leibkonna ja perega seotud teabe saamiseks kogu riiki. Teil on mittetulundusühinguid, kes koguvad igasugu huvitavat teavet keskkonna, saaste, globaalse soojenemise ja muu kohta. Ja kui olete sattunud paranormaalsesse või ufoloogiasse, on ka pidevalt ajakohastatud teabetabeleid meie kohal taevas olevate kummaliste objektide vaatlemise kohta.

Irooniline on see, et te arvate, et mis tahes maailma valitsusel oleks huvi teada, mis tüüpi ükskõik millise riigi kohal taevas märgatakse võõraid veesõidukeid, kuid ilmselt mitte - vähemalt mitte USA-s. igatahes. Ameerikas on käsitöö ebaharilike vaatluste kollektsioon viidud amatöörharrastajate meeskondadesse, kes lendavad uutele UFO-vaatlustele nagu koid leegini. Minu huvi nende vaatluste vastu ei tulene tegelikult mitte lummusest tulnukate või teiste planeetide käsitöö vastu, vaid teaduslikust lummusest mustrite vastu - kus ja miks näevad rohkem inimesi taevas asju ja kas need tähelepanekud võiksid peegeldada midagi väga reaalset ja Maa-alust reaalselt toimuvat peal.

Ufo harrastajate meeskondade kogutud andmemahtude uurimiseks olen tegelikult välja töötanud viisi, kuidas importida andmeid Google'i arvutustabelisse ning seejärel manipuleerida ja analüüsida neid andmeid, et neid otsida ja leida tähenduslikku ja olulist teave. Selles artiklis kavatsen teile näidata, kuidas sama teha.

Olulised HTML-andmed Google'i arvutustabelisse

Selles näites näitan teile, kuidas importida mis tahes andmeid, mida võib salvestada mis tahes Interneti-veebisaidi tabelisse, oma Google'i arvutustabelisse. Mõelge tohutule hulgale andmetele, mis on täna Internetis saadaval HTML-tabelite kujul. Ainuüksi Vikipeedias on andmeid tabelites selliste teemade kohta nagu Globaalne soojenemine, on USA loendusbüroos tonni rahvastiku andmekogumid, ja natuke Google'i otsingut pakub teile palju muud.

Minu näites alustan ma UFO riikliku aruandluskeskuse andmebaasist, mis tegelikult näib, et see võib olla päringu stiilis süvaveebide andmebaas, kuid kui jälgite URL-i struktureerimine on tegelikult poolkompleksne veebipõhine aruandlussüsteem, mis koosneb staatilistest veebilehtedest ja staatilistest HTML-tabelitest - täpselt see, mida me andmete otsimisel tahame import.

NUForc.org on üks neist organisatsioonidest, mis on üks suurimaid UFO vaatluste keskusi. See pole ainus, kuid see on piisavalt suur, et leida iga kuu jaoks uusi praeguste vaatlustega andmekogumeid. Valite andmete vaatamise selliste kriteeriumide järgi nagu riik või kuupäev ja need on esitatud staatilise lehe kujul. Kui sorteerite kuupäeva järgi ja klõpsate kõige hilisemale kuupäevale, näete, et seal toodud tabelis on staatiline veebileht, mis on nimetatud kuupäeva vormingu järgi.

Niisiis, meil on nüüd muster, mille abil saate sellest HTML-põhisest andmebaasist regulaarselt värskeimat teavet täheldada. Teil on vaja ainult importida esimene tabel, kasutage viimase tuvastamiseks (ülemist) ja siis kasutage postitamise kuupäeva URL-i lingi loomiseks, kus asub uusim HTML-andmete tabel eksisteerib. Selle tegemiseks on vaja lihtsalt mõnda ImportHTML-i funktsiooni eksemplari ja seejärel teksti loomiseks manipuleerimise funktsioonide mõnda loomingulist kasutamist. Kui olete lõpetanud, on teil üks lahedamaid ja ise värskendavaid aruandluse arvutustabeleid. Alustame.

Tabelite importimine ja andmete manipuleerimine

Esimene samm on muidugi uue arvutustabeli loomine.

Niisiis, kuidas HTML-tabeleid importida? Kõik, mida vajate, on URL, kuhu tabel on salvestatud, ja tabeli number lehel - tavaliselt on üks esimesena loetletud 1, teine ​​2 ja nii edasi. Kuna ma tean selle esimese tabeli URL-i, mis loetleb loetletud kuupäevi ja vaatluste arvu, on võimalik importida, sisestades järgmise funktsiooni lahtrisse A1.

= importhtml (“ http://www.nuforc.org/webreports/ndxpost.html?”&H2,”table”,1)

H2 hoiab funktsiooni “= tund (nüüd ()), Seega värskendatakse tabelit iga tunniga. See on tõenäoliselt äärmuslik nende andmete osas, mida värskendatakse seda harva, nii et võiksin arvatavasti igapäevaselt seda teha. Igatahes toob ülaltoodud funktsioon ImportHTML tabeli, nagu allpool näidatud.

Enne kui saate kokku panna teise tabeli URL-i koos kõigi UFO-tähelepanekutega, peate sellel lehel natuke andmetega manipuleerima. Kuid minge edasi ja looge teine ​​leht töövihikusse.

Enne teise lehe koostamist on aeg eraldada postituskuupäev sellest esimesest tabelist, et luua link teisele tabelile. Probleem on selles, et kuupäev tuuakse kuupäeva vormingus, mitte stringina. Nii et esmalt peate aruande postituse kuupäeva stringi teisendamiseks kasutama funktsiooni TEXT:

= tekst (A2, „kk / pp / aa”)

Parempoolses järgmises lahtris peate kuupäeva jaotamiseks kuuks, päevaks ja aastaks kasutama SPLIT funktsiooni koos eraldajaga “/”.

= poolitatud (D2, ”/”)

Hea välja nägema! Kuid iga number tuleb sundida kahekohaliseks. Teete seda lahtrites nende all, kasutades käsku TEXT uuesti.

= tekst (E2, “00”)

Vorming „00” (need on nullid) sunnib kahekohalisi numbreid või „0” kohahoidjaks.

Nüüd olete valmis taastama kogu URL-i uusima uute vaatluste HTML-tabeli järgi. Selleks saate kasutada funktsiooni CONCATENATE ja liita kokku kõik esimesest tabelist äsja kaevandatud teabe bitid.

= liitunud (“ http://www.nuforc.org/webreports/ndxp”,G3,E3,F3,”.html”)

Nüüd kavatsete ülaltoodud uuel lehel (tühjal lehel) teha uue funktsiooni importhtml, kuid seekord esimese jaoks URL-i lingi parameeter, nii et navigeerite tagasi esimesele arvutustabelile ja klõpsate äsja loodud URL-i lingiga lahtril.

Teine parameeter on „tabel” ja viimane on „1” (kuna vaatluste tabel on sellel lehel esimene ja ainus). Vajutage sisestusklahvi ja nüüd olete just importinud kogu vaatluste mahu, mis sellel kuupäeval postitati.

Nii et te arvate, et see on kena uudsus ja kõik - ma mõtlen, et see, mida olete teinud, kaevandatakse olemasolevat teavet Interneti-tabelist ja viisid selle teise tabelisse, ehkki teie Google'i dokumentide privaatsesse konto. Jah, see on tõsi. Nüüd, kui see on teie isiklikul Google Docs -kontol, on teil aga käeulatuses tööriistad ja funktsioonid, et neid andmeid paremini analüüsida ja alustada hämmastavate ühenduste avastamist.

Pivot-aruannete kasutamine imporditud andmete analüüsimiseks

Just hiljuti kirjutasin artikli kasutamise kohta Pivot-aruanded Google'i arvutustabelis Saage üleöö Google'i arvutustabeli aruande tööriistade abil andmeanalüütikuksKas teadsite, et üks suurimaid vahendeid kõigi andmete analüüsimiseks on tegelikult Google Spreadsheet? Selle põhjus pole ainult see, et sellega saab teha peaaegu kõike, mida võiksite ... Loe rohkem igasuguste lahedate andmete analüüsi funktsioonide teostamiseks. Noh, saate Internetist imporditud andmete puhul teha sama hämmastavat andmeanalüüsi akrobaatikat - andes teile võimaluse avastada huvitavaid seoseid, mida keegi teine ​​pole varem avastanud sina.

Näiteks võiksin otsuste tabeli põhjal otsustada, kas kasutada pöörderaportit, et vaadata arvu igas olekus on erinevad unikaalsed kujundid, võrreldes selle konkreetse vaatluste koguarvuga osariik. Lõpuks filtreerin kommentaaride osast välja ka kõik, mis nimetavad “tulnukaid”, et loodetavasti mõned tiibmutterkanded paremini välja rookida.

See paljastab kohe päris nahkhiirega päris huvitavaid asju, näiteks asjaolu, et Californias on selgelt kõrgeim - muude riikide täheldatud tähelepanekute arv koos suurima käsitöövormide arvu teatamisega USA - s; riik. See näitab ka, et Massachusettsis, Floridas ja Illinoisis on suuri lööjaid ka UFO vaatlusosakonnas (vähemalt kõige värskematel andmetel).

Veel üks lahe asi Google'i arvutustabelis on saadavalolevate diagrammide lai valik, sealhulgas geokaart, mis võimaldab teil paigutage andmete kuumad kohad graafilises vormingus, mis tõepoolest silma paistab ja muudab need seosed andmetes üsna oluliseks ilmselge.

Kui järele mõelda, on see tõesti ainult jäämäe tipp. Kui nüüd saate importida andmeid andmetabelitest mis tahes Interneti-leheküljel, mõelge lihtsalt võimalustele. Hankige uusimad aktsia numbrid või kõige uuemad New York Timesi bestsellerite nimekirjas olevad kümme kõige populaarsemat raamatut ja autorit või kõige suurema müügiga autod maailmas. Seal on HTML-tabeleid peaaegu kõigil teemadel, mida võite ette kujutada, ja paljudel juhtudel värskendatakse neid tabeleid sageli.

ImportHtml annab teile võimaluse oma Google'i arvutustabel Internetti ühendada ja seal olevad andmed ära toita. Sellest võib saada teie enda isiklik teabekeskus, mille abil saate manipuleerida ja masseerida vormingusse, millega saate tegelikult töötada. Google'i arvutustabelis on see veel üks väga lahe asi.

Kas olete kunagi arvutustabelitesse andmeid importinud? Milliseid huvitavaid asju neis andmetes avastasite? Kuidas te andmeid kasutasite? Jagage oma kogemusi ja ideid allpool olevas kommentaaride jaotises!

Pildikrediidid: Ettevõtte graafik