Netkannanir - verkfæri Djöfulsins?

Nýlega lenti ég í rimmu við forhertan átrúanda skoðanakannanna Útvarps Sögu sem virðist leggja áreiðanleika þeirra að jöfnu við tilvist þyngdarafls eða festuna í tíðni flóðs og fjöru. Þessi ágæti maður gat ekki undir neinum kringumstæðum skilið að skoðanakannanir Útvarps Sögu eru ekkert nema brandari - en þó ekki því þær virðast hafa eitthvað vægi í skoðanamótun og í almennri umræðu. Þannig getur brandarinn snúist fljótt upp í öndverðu sína, sér í lagi ef hann ljær öfga- og jaðarskoðunum meira vægi en þeim í raun ber.

Ég vil byrja á því að taka fram að eftirfarandi skrif mín taka ekki einungis til kannana Útvarps Sögu því þau eiga einnig við kannanir sem er að finna á vefjum Bylgjunnar, Vísis, blog.is og í raun flestra annarra fréttamiðla. Ég mun þó hafa Útvarp Sögu sem tákngerving þessara könnuða, enda er kveikjan að skrifum mínum Netkönnun sem framkvæmd var á vef hennar.

Svo er gott að taka fram að margar þeirra kannanna sem eru framkvæmdar eru aðeins til gamans. Þannig er, í þessum skrifuðu orðum, að finna könnun á www.stod.is þar sem spurt er hvort þar eigi að sýna bíómyndir eða þætti. Ég hygg að enginn starfsmaður dagskrárdeildar á þeim bæ eigi nokkurn tíma eftir að kíkja á niðurstöðurnar og nýta þær sem ítargagn við uppsetningu dagskrár á Stöð 2. En ef einhverjir hafa gaman af því að svara þessu, þá er markmiðinu náð.

Hins vegar eru svo til Netkannanir sem forsvarsaðilar kynna sem marktækar og vitna í þær sýknt og heilagt sem óskeikulan vitnisburð um vilja íslensku þjóðarinnar. Dæmi um það er könnun sem Útvarp Saga gerði á dögunum, en spurt var "Á að greiða úr ríkissjóði fyrir tæknifrjóvgun einhleypra kvenna?". Niðurstaða Netkönnunarinnar var sú að rúmlega 72% voru því mótfallin. Nú er það þannig að forhertir andstæðingar þess að einhleypar konur geti farið í tæknifrjóvgun hér heima hafa stokkið á þessa könnun og segja hana túlka vilja þjóðarinnar í þessum efnum. Þannig hefur þessi könnun bjagað og skekkt umræðuna og gert mikið ógagn. Nú þekki ég ekki hug þjóðarinnar í þessum efnum, en ég hef meiri trú á samlöndum mínum en svo. Ég hef enga trú á því að 3/4 þeirra séu svo forpokuðir að vilja neita einhleypum konum um þennan sjálfsagða rétt. Og þar kem ég að efni þessarar bloggfærslu minnar.

Ég fer yfir fjögur atriði í tengslum við gerð Netkannana, en þau eru:

• Úrtak
• Möguleiki á smölun
• Framsetning og samhengi
• Tæknin

Þessi atriði skipta öll meginmáli þegar kemur að gerð og framkvæmd Netkannana. Rétt er að skilgreina orðið 'Netkönnun' hér að neðan, en það er könnun sem framkvæmd er á vef sem opinn er almenningi án þess að notuð séu neinar aðferðir til að auðkenna notendur með sérstökum hætti, t.d. með því að senda þeim auðkenni í pósti eða með rafrænum skilríkjum. Ég tók t.d. þátt í slíkri könnun/kosningu um daginn þegar ég greiddi atkvæði um nýjan VR samning. Þá fékk ég auðkenni sent í pósti, en án þess gat ég ekki kosið, sem tryggði svo einnig að hver félagsmaður í VR get ekki kosið nema einu sinni.

ÚRTAK
Það kannast allir við að hafa heyrt eða lesið álíka lýsingu: "Í úrtakinu voru 1200 Íslendingar, valdir af handahófi úr Þjóðskrá, á aldrinum 18-75 ára af öllu landinu. Svarhlutfall var 63%" Þetta er fyrsta lykilatriðið þegar kemur að könnun á viðhorfi fólks - að þeir sem spurðir eru séu raunverulegt þversnið þess hóps hvers viðhorf verið er að kanna. Það er til víðfrægt dæmi um þetta frá því á öndverðri síðustu öld. Tímaritið Literary Digest ætlaði að spá fyrir um úrslit forsetakosninganna árið 1936. Niðurstöðurnar sýndu að frambjóðandi Repúblikana, Alf Landon, myndi hafa sannfærandi sigur á andstæðingi sínum, sitjandi forseta Franklin D. Roosevelt. Úrslit urðu hins vegar þau að Landon vann sigur í tveimur fylkjum meðan Roosevelt sigraði í hinum 46. Aðeins einu sinni í sögu BNA hefur forsetaframbjóðandi tapað eins illilega í forsetakosningum.

Þegar farið var að rýna í hvers vegna svo mikill munur var á niðurstöðum könnunarinnar annars vegar og kosninganna hins vegar kom í ljós að þrátt fyrir rísavaxið úrtak (10 milljón manns, 20% svarhlutfall), þá var úrtakið meingallað. Úrtakið var nefnilega áskrifendaskrá Literary Digest, en hún samanstóð af vel stæðum Repúblikönum sem voru síður en svo dæmigert þversnið bandarísku þjóðarinnar. Þeir sögðust allir myndu kjósa Landon og því fór sem fór. Þess ber að geta að þarna byrjaði að halla undan fæti hjá Literary Digest og árið 1938 sameinaðist það öðrum tímaritum svo úr varð Time Magazine.

Svo ég noti Útvarp Sögu aftur sem dæmi - getur einhver sannað að hlustendahópur hennar sé fullkomið þversnið íslensku þjóðarinnar? Getur einhver sannað að fullkomið þversnið af því fullkomna þversniði taki þátt í skoðanakönnun á vef hennar? Í könnuninni sem ég vísa í að ofan tóku 323 manns þátt. Getur einhver fullyrt að þetta úrtak sé fullkomið þversnið af hlustendahópi Útvarps Sögu sem er fullkomið þversnið íslensku þjóðarinnar?

SMÖLUN
Ég gerði einfalda könnun í mínum fjölskyldu- og vinahópi þar sem ég spurði nokkurra spurninga. Hver aðili svaraði aðeins einu sinni, en úrtakið er frekar bjagað og skekkt að því leyti að þarna er bara um að ræða þversnið af rjóma íslensku þjóðarinnar. Spurningarnar voru:

• Ef ég bæði þig að heimsækja tiltekinn vef og taka þátt í skoðanakönnun þar, hvernig myndirðu bregðast við?
• Ef ég bæði þig um að kjósa eitt ákveðið atriði í könnuninni, hvernig myndirðu bregðast við?

Ég sendi út 20 skeyti og fékk 18 svör til baka þannig að svarhlutfall var 90%. Niðurstöður eru þær að 55% eru tilbúin að heimsækja vef og kjósa að minni beiðni, 6% vilja það ekki og 39% eru óákveðin. SVo kemur í ljós að 50% eru reiðubúin að greiða atkvæði í samræmi við óskir mínar, 27% segjast vilja fylgja eigin sannfæringu (sem getur oft farið saman við mína) og 23% eru óákveðin.

Það sýnir sig því að auðvelt er að smala fólki í Netkannanir og að auðvelt er að fá fólk til að kjósa fyrir sig. Ég tek það fram að enginn þessara aðila myndi nokkurn tíma selja atkvæði sitt svo auðveldlega í alvöru kringumstæðum, en það er léttvægt þegar um er að ræða aumar Netkannanir.

FRAMSETNING OG SAMHENGI
Miklu máli skiptir hvernig spurningar eru settar fram, en það er auðveldlega hægt að gildishlaða þær með ýmsum aðferðum. Skoðum t.d. eftirfarandi spurningar:

• Á ríkið að borga kostnað vegna X?
• Á X rétt á því að ríkið borgi kostnað fyrir hann?
• Er rétt að ríkið borgi kostnað fyrir X?
• Er sanngjarnt að ríkið borgið kostnað fyrir X?

Þarna er um að ræða blæbrigðamun í framsetningu sem getur haft áhrif á svarendur. Sérþjálfaðir starfsmenn þeirra fyrirtækja sem sjá um gerð kannana hafa mikla reynslu af gerð svona spurninga og gæta þess í hvívetna að þær séu eins hlutlausar og kostur er. Hver semur spurningarnar sem notaðar eru í Netkönnunum?

Þá er rétt að skoða í hvaða samhengi Netkannanir eru settar fram. Hvar er í vísað í Netkönnuna í dagskrá fjölmiðils? Er það eftir þátt eða í grein þar sem fjallað er um viðkomandi málefni með ákveðnum og afgerandi hætti? Er fyllst hlutleysis gætt þegar minnt er á könnunina?

TÆKNIN
Þá er komið að veigamesta þættinum í framkvæmd Netkannana. Það muna margir eftir því þegar Sveppi grínari vann Edduna hér í denn eftir að hann aftengdi sk. vefkökur (e. cookies) og kaus svo sjálfan sig nokkur hundruð sinnum. Það var auðvitað meinfyndið og flott ... og þarft, því það sýndi vel hversu brigðul tæknin er.

Í dag eru tvær megin aðferðir notaðar til að 'tryggja' öryggi í Netkönnunum:

• Vefkökur
• Skráning IP-talna

Hægt er að eiga við vefkökur á margan hátt, t.d. eyða þeim. Þessi lífæð vefjarins er afar nauðsynleg, en um leið afar viðkvæm og ófullkomin. Þannig þarf ekki annað en að útiloka (e. block) eða eyða vefkökum til að sami einstaklingur geti kosið mörgum sinnum í sömu könnuninni þegar þær eru notaðar sem öryggistæki. Vefkökur eru því harla léleg trygging fyrir því að sami aðili geti ekki kosið mörgum sinnum. Meðfylgjandi mynd (nr. 1) sýnir þetta ferli í myndrænu formi þar sem þetta er hringrás sem kjósandi getur farið eins oft og hann vill og nennir. En ég taldi þetta ekki vera nægilega skýrt og því setti ég upp Netkönnun á blogginu hjá mér þar sem ég spurði; "Eru netkannanir áreiðanlegar?" Svo tók ég upp stutt myndband þar sem ég kýs 10 sinnum í röð á einni mínútu sem gerði það að verkum að 10 höfðu svarað og voru 100% þeirri á því að Netkannanir væru óáreiðanlegar. YouTube klippuna má sjá hér að neðan.

Skráning IP-talna er í raun öruggari aðferð til að koma í veg fyrir að sama aðili kjósi oft. Hún hefur hins vegar þann stóra galla að hún kemur að sama skapi í veg fyrir að aðrir bak við sömu IP-tölu geti kosið. Þetta á við alls staðar þar sem margar tölvur eru bak við eldvegg, svo sem í fyrirtækjum eða á heimilum. Ég starfa hjá fyrirtæki sem hefur aðgang að neti sem nokkur hundruð starfsmanna nýta sér. Okkar samskipti á Netinu, þessara hundruða sem hér starfa, fara í gegnum einn eldvegg. Þannig erum við öll með sömu IP-töluna. Því gerist það þegar eitthvert okkar kýs t.d. í Netkönnun á vef Útvarps Sögu kemst ekkert okkar hinna að á eftir. Því talar þessi eini aðili, sem fyrstur komst að, fyrir hönd okkar allra. Meðfylgjandi mynd (nr. 2) sýnir þetta í hnotskurn. Eitt atkvæði kemst út fyrir eldvegginn og er talið með, en bak við eldvegginn krauma skoðanir fjöldans sem ekki komast að. Þessi eini aðili hefur því talað fyrir fjöldann og gefur þannig ranga mynd af vilja hans.

NIÐURSTÖÐUR
Í ljósi ofangreinds er óhætt að fullyrða að Netkannanir eru afar óvönduð og vond leið til að mæla skoðanir almennings á hinum ýmsu málum, enda fá þær falleinkunn á öllum sviðum. Því fullyrði ég að Netkannanir geri ekkert nema ógagn, þeirra innlegg í almenna umræðu er skaðlegt og eru áhrif þeirra bara neikvæð. Þær bjaga og skekkja og ekki er úr vegi að lýsa þeim sem verkfæri Djöfulsins í almennri umræðu, svo neikvæð eru áhrif þeirra.

Í könnunninni sem ég gerði, og vitnað er í hér að ofan, var þriðja spurningin sem var svona:

• Hver er afstaða þín til skoðanakannana á Netinu hvað varðar áreiðanleika?

Enginn svarenda taldi Netkannanir áreiðanlegar, 72% töldu þær óáreiðanlegar og 28% höfðu ekki skoðun á málinu. Þetta segir mikið um vægi Netkannana, en þær virðast ekki njóta neins trausts. Réttilega, að mínu mati.

Ég skora því á fjölmiðlafólk, bloggara og aðra Netverja að hætta að vitna í Netkannanir. Óvissa og efi í almennri umræðu er nægur fyrir þótt ekki sé bætt við þeirri afbökuðu og fölsku veruleikasýn sem þær miðla. Höldum okkur við staðreyndir því þannig verður umræðan markvissari og betri. Notum Netkannanir til hluta sem hæfa, s.s. til að kanna hver er uppáhalds Pokémon þjóðarinnar og hvort Superman geti ráðið við Hulk ... ekki til að drepa t.d. umræðu um réttindi einhleypra kvenna á dreif.

Lifið heil.

 

YouTube klippan: Kjóstu 10x í sömu könnun á einni mínútu!

Athugasemdir

[kiza, 21.5.2008 kl. 20:29]

Glæsileg og markviss færsla, takk fyrir að beina athygli að þessu.  Fólk virðist halda að þessar skoðanir séu jafn áreiðanlegar og Hagstofukannanir ! 

[Sigurður Viktor Úlfarsson, 21.5.2008 kl. 21:39]

Kannanir þar sem svarendur velja sig sjálfir í úrtakið er í besta falli samkvæmisleikur en ekki skoðanakönnun og ber að túlka sem slíkan.

[Hjálmtýr V Heiðdal, 21.5.2008 kl. 21:56]

Gott innlegg Óli Jón.

Ég hef margoft heyrt Arnþrúði Karlsdóttur vitna í „skoðanakannanir“ útv. Sögu sem hinn heilaga sannleik. Það vekur furðu mína að hún skuli gera þetta. Annaðhvort er þetta heimska eða forherðing. Ég held að heimskan sé betri þótt hún geti verið leiðigjörn.

Magnús Þór talar mikið um sína „vönduðu greinargerð“ um málið á Akranesi, Arnþrúður gæti verið á sömu línu með sínar „vönduðu kannanir“

[Óli Jón, 21.5.2008 kl. 22:03]

Ég er sammála öllum hér að ofan. Það verður að fá fjölmiðlunga ofan af því að vitna í þessa 'samkvæmisleiki' sem alvöru mælingar á vilja þjóðarinnar. Það er engum greiði gerður með því! Þvert á móti er það afar skaðlegt!

[Zaraþústra, 22.5.2008 kl. 11:39]

Það gildir nú sama með IP tölurnar og vefkökurnar.  Það eru ekki allir, sjálfsagt aðeins lítill hluti, manna með fasta IP tölu.  Ef þið farið á myip.is getið þið séð IP töluna ykkar og slóð sem svarar til hennar, þeir sem eru hjá Símanum til dæmis fá slóð eins og: 10.10.10.10.dsl.dynamic.simnet.is.  Þeir sem hafa þetta merki í slóðinni hafa því breytilega IP tölu, ef þið slökkvið í smástund á beininum ykkar og kveikið svo aftur er nokkuð líklegt að þið fáið nýja IP-tölu, tékkið bara á myip.is aftur.  Svo er náttúrlega hægt að fela sig bakvið proxy sem ég man ekki hvað menn kalla á íslensku.  Þá get ég vafrað um netrið þannig að ég virðist vera með aðra IP-tölu út á við.  Oftast eru þetta reyndar erlendar IP-tölur og það væri auðvelt að koma í veg fyrir þetta með því að banna mönnum í útlöndum að kjósa, en það hefur náttúrleg önnur áhrif á niðurstöðuna, þeir Íslendingar sem eru erlendis geta ekki kosið heldur.

[Maximus 22.5.2008 kl. 12:07]

Góð færsla....sammála hverju orði.....nema þessu um forpokun landans vegna þess að hann vill ekki greiða fyrir tæknifrjóvgun einhleypra.

Könnunin spyr hvort ríkið eigi að greiða fyrir tæknifrjóvgunina.....ekki hvort einhleypir eigi rétt á henni. 

Að vera einhleypur er ekki læknisfræðilegur vandi heldur persónulagt val og ég sem skattgreiðandi vil ekki verða  fyrir fjárútlátum vegna þessa.  Þessi skoðun mín nær einnig til samkynhneygðra.

Ef hinsvegar einhleypir eða samkynhneygðir greiða fyrir sínar tæknifrjóvganir sjálfir er ég alveg tilbúinn til þess að greiða minn hluta í samfélagslegum gjöldum vegna þeirra barna (fæðing, læknisþjónusta, barnabætur, menntun etc.).

Þessu fylgir að ég er þeirrar skoðunar að allir sem á annað borð geta borið barn undir belti eigi að hafa réttinn til þess að fari í tæknifrjóvgun.

Ég trúi að þarna deili ég skoðun með meirihlutanum en hvort sá meirihluti sé 72%, 55% eða 90% hef ég ekki hugmynd um og tek ekki mark á könnuninni með það. 

Maximus (eða Magnús Birgisson fyrir óinnviklaða)

[Óli Jón, 22.5.2008 kl. 20:29]

Sæll, Árni

Ég hef enga trú á því að Jón Valur sé búinn að loka á mig á bloggi sínu, enda veit hann sem víst er að slíkt er bara tákn um algjöra uppgjöf og í raun fjörbrot hins rökþrota manns. Ég veit að hann vændi mig um að hafa logið að lesendum sínum þegar ég gerði grín að honum með því að tala um skoðanakönnun sem ég sagðist hafa framkvæmt í vinnunni hjá mér. Hann getur ekki haft það spaug sem ástæðu lokunar því hann veit sem er að sjálfur 'skrökvaði' hann eins og hann er langur til þegar hann vitnaði sífellt í Netkönnun Útvarps Sögu. En ég veit auðvitað að hann var að grínast þar, rétt eins og ég! Ef hann hefur hins vegar kynnt þessar niðurstöður sem staðreynd og sannleika, þá er ég nokkuð viss um að hann sé að brjóta gegn einhverju boðorðanna. Stendur ekki eitthvað um lygi í þeirri upptalningu?

Þess vegna er ég viss um að Jón Valur hefur ekki lokað á mig vegna þess að hann telur sig sannkristinn og sannleikselskandi mann. Ég var reyndar að átta mig á því að ef hann hefur lokað á mig fyrir að 'ljúga' um mína könnun, verður hann þá ekki að loka á sig fyrir að 'ljúga' um könnun Útvarps Sögu? Nei, fjandakornið!

Hvernig sem allt veltur þá yrði bloggið hálf litlaust ef ekki væri fyrir svona kynjakvisti eins og Jón Val :)

[Óli Jón, 22.5.2008 kl. 21:27]

Það er ekkert tilefni til að hnýta í Jón Val núna ekki nema til að lýsa ánægju með ljóðin eftir Ólöfu frá Hlöðum sem hann hefur verið að setja inn inn. Ég hef hvort eð er enga trú á því að hann sé búinn að loka á mig :) Hann þyrfti þá að loka á sjálfan sig fyrir sömu sakir, það sýndi ég fram á með því að skrifa greinina hér að ofan! Það er nefnilega stórmerkileg tilviljun að ég ákvað að skrifa þessa úttekt á Netkönnunum núna.