Andmeteaduse pilve tegemine ScraperWiki abil

Reklaam

Kui teil on mentaalsed nõksud, programmeerimis- ja jutuvestmisoskused ning disaini silm, saate teha hullemat kui infoteadustesse õppimine. See on uus uus asi tehnoloogias; väga trendikas ja kõrgelt tasustatud ning andmeteadlasi otsivad mõned maailma suuremad ettevõtted.

ScraperWiki on ettevõte, mida on juba pikka aega seostatud andmeteaduste valdkonnaga. Viimastel aastatel on see Liverpooli baasil käivitus pakkunud kodeerijatele platvormi andmete kogumiseks, pilves puhastamiseks ja analüüsimiseks tööriistade loomiseks.

Hiljutise värskenduse ja ettevõttes pidevalt kasvava nõudluse tõttu andmeteadlaste järele tasub ScraperWiki põhjalikult üle vaadata.

Täielik avalikustamine: olin eelmisel suvel ScraperWiki praktikant.

Mida teeb ScraperWiki?

ScraperWiki turundab end andmete kogumise, puhastamise ja analüüsimise kohana ning see pakub kõiki neid loendeid. Selle lihtsimal kujul võimaldab see teil - kasutajal - kohta, kuhu saate kirjutada koodi, mis hangib andmeid allikast, tööriistu teisendamiseks selle hõlpsalt analüüsitavasse vormingusse ja hoiustamiseks hilisemaks visualiseerimiseks - mida saate ka ScraperWiki abil käsitleda.

Sellega on kaasas ka mitmed eelnevalt ehitatud tööriistad, mis automatiseerivad korduvaid toiminguid, sealhulgas andmete saamine PDF-idest, mida on kurikuulsalt keeruline dekodeerida. See on lisaks Twitteri otsimine 5 lahedat Twitteri otsingunippi, et jälgida, mida inimesed teie kohta räägivadKui teil on veebisait või proovite lihtsalt vabakutselisena Internetis raha teenida, on alati hea teada, mida inimesed teie kohta Interneti kaudu räägivad. Inimesed võivad tsiteerida ... Loe rohkem ja kommunaalkulude kraapimine. Nende kasutamiseks pole vaja tarkvaraarenduse kogemust.

Maksumus

Nagu varem mainitud, võtab ScraperWiki omaks freemium hinnamudeli ja pakub mitmetasandilist teenust. Need, kes alles alustavad andmeteadusega või kellel on piiratud vajadused, saavad tasuta teenust kasutada. See annab teile kolm andmekogumit - kuhu oma andmed ja kood salvestate.

Need, kes plaanivad kirjutada mitu skreeperit või soovivad teha arvukalt andmeanalüüse, saavad premium -kontolt raha välja maksta. Need algavad 9 dollarist kuus ja pakuvad 10 andmekogumit. Kui sellest ikkagi ei piisa, saate alati minna üle kõrgeimale astmele, mis sisaldab 100 andmestikku ja maksab 29 dollarit kuus.

Kodeerimine

Programmeerijad on koodimise osas sageli üsna erilised. Mõned eelistavad skriptikeeli kompileeritud keelte asemel. Mõned eelistavad tekstiredaktori paremat kogemust integreeritud arenduskeskkonna (IDE) asemel. ScraperWiki tunnistab seda ja annab kasutajale oma koodi kirjutamisel tohutu valikuvõimaluse.

Kui olete nii kaldu, võite oma koodi brauserisse kirjutada. Nagu võiksite oodata ükskõik milliselt professionaalilt, veebipõhine Kolm parimat brauseripõhist IDE-d, mis pilves kodeerivad Loe rohkem arendusvahend, see sisaldab funktsioone, mida iga programmeerija peab oluliseks, näiteks süntaksi esiletõstmine.

Pakutakse mitmeid keeli. Need sisaldavad Python 5 parimat veebisaiti Pythoni programmeerimise õppimiseksKas soovite õppida Pythoni programmeerimist? Siin on parimad viisid Pythoni veebis õppimiseks, millest paljud on täiesti tasuta. Loe rohkem , populaarne skriptikeel, mida kasutavad näiteks Google ja NASA; Rubiin 3 interaktiivset, lõbusat, tasuta viisi Ruby programmeerimiskeele õppimise alustamiseksRuby on väljendusrikas, väga kõrgel tasemel skriptikeel. Seda kasutatakse veebis peamiselt veebiarenduse raamistiku Ruby on Rails osana, aga ka eraldiseisvana. Kui teil on huvi, mida Ruby (mitte ... Loe rohkem , mis haldab mitmeid populaarseid veebisaite, näiteks Living Social; ja populaarne statistilise analüüsi keel R.

Lisaks saate käsurealt koodi kirjutada ka SSH, Giti ja mis tahes tekstiredaktori abil, mida teile meeldib kasutada. Jah, sa lugesid seda õigust. SSH Mis SSH on ja kuidas see erineb FTP-st [Technology Explained] Loe rohkem . Iga kasutatav kast on oma Linuxi konto ja saate sellega ühenduse luua nagu VPS-i või mõne muu kestakontoga. Saadaval on mitmeid tekstiredaktorit, sealhulgas Vim 7 peamist põhjust, miks Vimi tekstiredaktorile võimalus andaAastaid olen proovinud ühte tekstiredaktorit teise järel. Sa nimetad seda, ma proovisin seda. Ma kasutasin kõiki neid toimetajaid üle kahe kuu oma esmase igapäevase toimetajana. Millegipärast ma ... Loe rohkem mida saab laiendada pistikprogrammidega ja konfiguratsiooni redigeerides. Need, keda Vim hirmutas, saavad kasutada Nanot, mis on kerge käsuridade tekstiredaktor.

Paigaldatud raamatukogudest peaks andmete kogumiseks ja töötlemiseks kirjutusvahendite jaoks piisama. Kui vajate midagi pisut varjamatut, saate alati käsurealt virtualenvi luua. Nagu näete, on arendajatele tagatud tohutu paindlikkus.

Andmete visualiseerimine

Niisiis, teil on oma andmed. Olete selle normaliseerinud. Sa oled selle puhastanud. Olete seda analüüsinud. Nüüd on aeg teha mõni visualiseerimine ja näidata maailmale seda, mida olete õppinud.

ScraperWiki võimaldab arendajatel kuvada oma andmeid veebilehtedel, mis on loodud HTMLi, CSSi ja JavaScripti üldtuntud trifektaadist. Lisaks toetatakse Bootstrap-i komponente karbist välja.

Saadaval on mitmeid eelvalmistatud visuaale, sealhulgas sellised, mis kaardistavad teie andmed kaardil ja leiavad su leiudes suundumusi. Nende kasutamiseks peate tagama, et teie andmed salvestatakse SQLite-failina failinimega "scraperwiki.sqlite". Seejärel lisate lihtsalt teid huvitava visualiseerimise. Lihtne, eks?

Järeldus

ScraperWiki pakub palju arendajatele, kes soovivad andmeanalüüse teha ilma, et nende arenduskeskkond saaks korda sattuda, võimaldades samas paindlikkust ka kõige nõudlikumatele kasutajatele. Aga mis sa arvad? Andke mulle allpool kommentaarides teada.
Foto krediit: Raketiteadus (Dan Brown)