Végezze el látnoki internetes kutatásokat mély webes adatokkal és Excel webes lekérdezésekkel

Hirdetés

Mit mondanál, ha azt mondanám, hogy az Ön rendelkezésére állnak az eszközök, amelyek úttörő, földrengést okozó kutatásokat végeznek? Nos, igen, és megmutatom, hogyan.

Kormányok, tudományos intézmények és nonprofit kutatási szervezetek közzéteszik az adatokkal teli táblázatokat. Anélkül, hogy bárki felhasználná ezeket az információkat, annak valódi értéke soha nem lesz ismert. Sajnos kevés ember rendelkezik betekintéssel, készségekkel vagy eszközökkel az adatok felvételéhez és érdekes összefüggések létrehozásához a látszólag nem kapcsolódó információk között.

Háttér

A saját blogomhoz kapcsolódó kutatások nagy része magába foglalja az úgynevezett láthatatlan web A 12 legjobb keresőmotor a láthatatlan web felfedezéséhezA Google vagy a Bing nem tud mindent keresni. A láthatatlan web felfedezéséhez ezeket a speciális keresőgépeket kell használnia. Olvass tovább , hogy felfedje a nyilvánosság számára kiadott, de rejtett adatokat kereső motorok Az öt legfejlettebb keresőmotor az interneten Olvass tovább

egy online adatbázisban. Ez a mély web A TorSearch célja a Google a mély web számáraA Tor egy rejtett szolgáltatás és a mély web része. A TorSearch egy új, névtelen keresőmotor, amelyet alapítója, Chris MacNaughton a „Google of Tor-nak” szeretne létrehozni. Olvass tovább , és értékes adatokkal gazdagodik. Nagyon gyakran találkozom olyan weboldalakkal, amelyek csak a legértékesebb adatokkal vannak kitöltve azokon a témákban, amelyek a népszámlálási adatoktól a ritka betegségek epidemiológiai tanulmányaiig terjednek. Folyamatosan új ötleteim vannak arról, hogyan lehet kipróbálni és összekapcsolni az eltérő adatforrásokat a különféle eszközökkel eszközök - és az egyik legértékesebb eszköz, amelyet találtam, a Microsoft webes lekérdezése Excel.

Érdekes adatkorrelációk keresése

Amit ma megmutatom neked, egy példa arra, hogy miként használhatja az Excel Web lekérdezéseket az adatok begyűjtésére különféle webhelyeket, és ábrázolja azokat egymással szemben annak érdekében, hogy megkeresse a lehetséges összefüggéseket a webhelyek között adat.

Az ilyen gyakorlat elindításának módja érdekes hipotézis felvázolása. Például - hogy érdekessé tegyem a dolgokat itt - véletlenszerűen fogom posztulálni az Egyesült Államokban az emelkedő autizmus arányát vagy vakcinák beoltása, vagy a gyermekek környékén és például a sejtekben a növekvő elektromágneses mezők jelenléte okozza telefonok. Ez egy őrült hipotézis, melynek kedveli az összeesküvéselmélet legtöbb webhelyén találhatók, de ez teszi ezt a szórakozást. Tehát kezdjük el, ugye?

Először nyissa meg az Excel alkalmazást, ugorjon az adatmenü elemre, és keresse meg a menüből a „Weboldalról” ikont.

Ez az a tény, amellyel importálhatja a különféle adattáblákat a sok olyan webhelyről, amely azokat közzétette.

Webes adatok importálása Excelbe

Tehát a régi időkben meg kellett próbálnia az adatokat másolni a tábláról egy weboldalra, beilleszteni az Excelbe, majd foglalkoznia kell az összes ezzel kapcsolatos őrült formázási problémával. Teljes szóváltás, és sokszor csak nem éri meg a fejfájást. Nos, az Excel Web lekérdezésekkel ezek a napok eltűntek. Természetesen, mielőtt adatot importálhat, a Google-nak meg kell keresnie az internetet, hogy táblázatos formában megtalálja a szükséges adatokat. Az én esetemben találtam egy weboldalt, amely közzétette az Oktatási Minisztérium statisztikáit az autistaként azonosított amerikai állami iskolások számára. Egy szép asztal az 1994-es számokat tartalmazza egészen 2006-ig.

Tehát csak kattintson a „Internetről” elemre, illessze be a weboldal URL-jét a lekérdezési cím mezőbe, majd görgessen lefelé az oldalt, amíg meg nem jelenik a sárga nyíl az importálandó adatokkal ellátott táblázat mellett.

Kattintson a nyílra, hogy zöld pipa legyen.

Végül mondja el az Excelnek, hogy melyik mezőbe szeretné beilleszteni a táblázat adatait az új táblázat belsejébe.

Akkor - Voila! Az adatok automatikusan bekerülnek a táblázatba.

Tehát, az állami iskolák autizmusának 1996 és 2006 közötti trendje mellett, ideje elmenni a vakcinázás és a mobiltelefon-használat tendenciáinak felkutatására is.

Szerencsére gyorsan felfedeztem az Egyesült Államok mobiltelefon-előfizetői trendjeit 1985-től 2012-ig. Kiváló adatok erről a tanulmányról. Ismét az Excel Web Query eszközt használtam az asztal importálására.

Importáltam az asztalt egy tiszta, új lapra. Ezután felfedeztem a vakcinázási tendenciákat a különböző betegségek miatt oltott iskolás gyermekek százalékában. Ezt a táblát a Web Query eszköz használatával importáltam egy harmadik lapra. Tehát végül három lapom volt a három táblával, amelyek tele voltak a nem látszólag összekapcsolt adatokkal, amelyeket az interneten fedeztem fel.

A következő lépés az Excel használata az adatok elemzésére és a korrelációk azonosítására. Ez az, ahol a kedvenc adatelemző eszközeim kerülnek játékra - a PivotTable.

Adatok elemzése Excelben a PivotTable segítségével

A legjobb, ha a PivotTable-t teljesen új, üres lapon hozza létre. A varázslót akarja használni a munkájához. Az Excel programban a PivotTable varázsló engedélyezéséhez egyidejűleg nyomja meg az Alt-D billentyűt, amíg egy értesítési ablak megjelenik. Ezután engedje el ezeket a gombokat, és nyomja meg a „P” gombot. Ezután a varázsló jelenik meg.

A varázsló első ablakában válassza a „Több konszolidációs tartomány” lehetőséget, amely lehetővé teszi az adatok kiválasztását az összes importált lapból. Ezzel az összes látszólag független adatot egyetlen, erőteljesen elforgathatóvá egyesítheti. Bizonyos esetekben előfordulhat, hogy az adatok egy részét masszírozni kell. Például ki kellett javítanom az „Év” mezőt az autizmus táblázatában úgy, hogy az „1994” helyett jelenjen meg „1994–1995” - annak jobb illesztése a többi lapon található táblázatokhoz, amelyeknek szintén volt az első éve terület.

Az adatok közti közös mezőre van szükség az információk kipróbálásához és összehangolásához, ezért ne feledje, hogy amikor az internetet keresed az adatokra.

Miután a PivotTable elkészült, és az összes különféle adatértéket megmutatta egy táblázatban, ideje vizuális elemzést végezni, hogy megtudja, létezik-e valami nyilvánvaló kapcsolat, amely kiugrik rád.

Az adatok megjelenítése kulcsfontosságú

Nagyszerű, ha egy csomó szám van az asztalban, ha közgazdász vagy, de a leggyorsabb és legegyszerűbb módja annak, hogy hogy "aha!" abban a pillanatban, amikor olyan kapcsolatokat próbál megtalálni, mint egy tű szénakazalban, grafikonokon keresztül grafikonok. Miután a PivotChart a helyén van az összes összegyűjtött adatkészlettel, ideje elkészíteni a grafikonot. Általában a vonaldiagram fog a legjobban, de az adatoktól függ. Vannak idők, amikor egy oszlopdiagram sokkal jobban működik. Próbáld megérteni, hogy milyen adatokat néz ki, és milyen összehasonlítások működnek a legjobban.

Ebben az esetben az adatokkal foglalkozom az idő múlásával, tehát a vonaldiagram valóban a legjobb módja az évek tendenciáinak megtekintésére. Az autizmus arányának (zöld) ábrázolása a csökkentett oltási arányok (sötétkék), a bárányhimlő-oltások (világoskék) alapján és a mobiltelefon használata (lila), furcsa összefüggés jelent meg ebben a minta adatkészletben, amelyet játszottam val vel.

Furcsa módon, a mobiltelefon-használat tendenciája 1994-től 2006-ig szinte tökéletesen megegyezett az autizmus arányának megemelkedése ugyanezen időszak alatt. Noha a minta teljesen váratlan volt, ez egy tökéletes példa arra, hogy az érdekes adatok összeillesztése miként hozhat fel érdekes vezetőket - nagyobb betekintést és motivációt nyújt az előrelépéshez és további adatok kereséséhez, amelyek tovább erősíthetik az ön adatait hipotézis.

A fenti korreláció nem bizonyít semmit. Számos olyan tendencia létezik, amelyek az idő múlásával növekednek - a minta véletlen lehet, de ez is fontos nyom lehet az interneten folytatott további adatok iránti törekvésében. Szerencsére van egy hatalmas eszköz, az úgynevezett Excel Web Queries, amely csak egy kicsit megkönnyíti a keresést.

Fotó jóváírás: Kevin Dooley keresztül photopincc