O důvěryhodnosti výzkumů se toho napsalo hodně, vlastně možná všechno, co pixely a papír snesou. Pokud si chcete skutečně prověřit důvěryhodnost výzkumu, čeká vás trochu pátrání a spousta práce. Bude se vám hodit historická paměť, která sahá minimálně za dvě volební období, orientace v sedmi otázkách o výzkumu veřejného mínění a budete potřebovat znalost výzkumných metodik. Možná vám s tím trochu pomůže níže připravený návod.

Jak se pozná důvěryhodný zdroj ve zkratce:

• Zadavatel a účel výzkumu je transparentní 
• Uveřejňuje informaci o realizaci výzkumu - pasport výzkumu, pasport a výzkumná zpráva jsou veřejně dostupné a obsahují maximum údajů
• Autor výzkumu používá prověřené metody založené na vědeckém základě a je ochotný o své metodice diskutovat
• Reprezentant agentury je snadno k dosažení a otevřen k debatě o své metodice
• Realizátor skutečně naplňuje podmínky ICC/ESOMAR Kodexu
• Kvalita sběru dat je kontrolována a to i nezávisle

Podrobnější návod:

a) Transparentní zadavatel a účel výzkumu

Ověřte si, zda výzkum realizuje seriózní, nezávislá výzkumná organizace. Každý si může prověřit vlastníky v obchodním rejstříku a zjistit, zda firma sídlí na adrese podnikání. Dalším indikátorem je, zda má firma zaměstnance a delší dobu se profiluje ve výzkumném oboru. Důvěryhodná agentura má i další klienty a je zapojená do seberegulačních mechanismů a zapojuje se do oborového dialogu svým členstvím v mezinárodní asociaci výzkumníků ESOMAR a v lokální partnerské asociaci SIMAR. 

Pokud si stále nejste profilem agentury jisti, prověříte informace, které o projektu publikuje sama agentura na svých stránkách, případně na stránkách zadavatele výzkumu. Tyto informace by měly být minimálně v rozsahu pasportu VVM. Renomované organizace obvykle publikují podrobnější výzkumnou zprávu a  transparentně vám poskytnou informace, které potřebujete k vyhodnocení důvěryhodnosti výzkumu. Další možností je otestovat ochotu realizátora výzkumu odpovídat na otázky vztahující se k realizaci výzkumu či ochotu si své výsledky obhájit před odbornou komunitou, a uvádějí proto kontakt na autorský tým, který výzkum realizoval. 

b) Kdo financoval tento výzkum a proč to dělá?

Je vhodné, aby agentura deklarovala, z jakých prostředků byly pokryty náklady na realizaci výzkumu. Pokud byl výzkum proveden pro respektované médium nebo samostatnými výzkumnými pracovníky, kteří čerpají prostředky na realizaci z veřejných prostředků, je zde dobrá šance, že se jedná o nestranné šetření. V případě, že výzkum byl proveden nějakou skupinou přívrženců, nátlakovou skupinou nebo politickou stranou, může to stále být dobře provedený výzkum, ale čtenáři/diváci/posluchači by měli být informováni, kdo výzkum prováděl a zadal. 

Správnost výzkumu závisí na tom, zda byl proveden výzkumnou organizací za použití vědeckých výzkumných metod pro odebrání vzorku, dotazník je konstruován vhodným způsobem, otázky jsou položeny nestranně a informace o položených otázkách a výsledcích šetření jsou plně k dispozici. Pokud tyto informace k dispozici nejsou, pak je třeba k takovému výzkumu přistupovat s opatrností. V každém případě dejte pozor na zavádějící otázky a selektivní zjištění, jejichž cílem je posílit jistý názor blízký zadavateli výzkumu, spíše než objektivně referovat o veřejném mínění. Členské agentury SIMAR mají pro tuto oblast i seberegulační mechanismus. 

c) Kolik lidí bylo ve výzkumu dotazováno?

Čím více lidí, tím lépe - i když malý vzorek vědecky pojatého výzkumu je vždy lepší než velký vzorek složený z lidí, kteří se rozhodli zapojit sami. Je důležité si uvědomit, že velikost vzorku rozhodně není jediný relevantní údaj. Například ve volebním modelu se často vykazují data, která vylučují nerozhodnuté voliče či ty, kteří odmítli prozradit své volební preference, a respondenty, kteří deklarovali, že se voleb nezúčastní. Vyloučení těchto skupin sice zaznamená názory nejrelevantnější skupiny rozhodnutých voličů, konečný vzorek může být tím ve výsledku mnohem menší a chyba výběru tím větší.

Opatrnosti je také třeba při dělení vzorku na jednotlivé skupiny – např. ženy a muže – chyba výběru je pro tento soubor větší než pro celý výběrový soubor. Jestliže je celková velikost vzorku 500 a skládá se ze stejného počtu mužů a žen, je interval spolehlivosti pro každé pohlaví přibližně 6 procentních bodů.

d) Jakým způsobem byli vybráni respondenti?

Je jasně řečeno, kdo byl do výběrového souboru zahrnut, kdo je tedy součástí vzorku a kdo byl vynechán? Použila výzkumná organizace pro výběr jednu z metod popsanou v sekci Sedm otázek a odpovědí? Pokud byl výzkum prováděn pouze v určitých místech, například ve městech, ale ne ve venkovských oblastech, pak je třeba tuto informaci v každé zprávě uvádět a výstup výzkumu vnímat v kontextu s tímto metodickým omezením. 

Pokud se jednalo o anketu, kde se respondenti sami zapojili do šetření – např. čtenáři časopisu, televizní diváci pošlou dopis, e-mail nebo textovou zprávu, nelze takto získané informace považovat za výzkum reprezentující názory populace. 

e) Kdy se výzkum uskutečnil?

Různé události mohou mít dramatický dopad na výsledky výzkumů veřejného mínění. Výsledky je proto nutné interpretovat v souvislosti s klíčovými událostmi. Dokonce i nejčerstvější výsledky mohou rychle zastarávat. Výzkumy, které jsou staré několik týdnů či měsíců, mohou být naprosto v pořádku, pokud se například vztahují k základním kulturním postojům či chování.

V předvolebních výzkumech je konkrétní datum terénního šetření zvláště důležité, protože volební preference se mohou měnit až do okamžiku, kdy volič odevzdává svůj hlas. Proto je při publikaci vždy důležité uvést a zohlednit období, kdy byl výzkum uskutečněn (nejen publikován). Zvlášť v kontextu času se média dopouštějí nepochopitelné chyby. Výzkumy skutečně nic nepředpovídají. Další interpretace dat, význam změn a odhad dalšího vývoje může samozřejmě být předmětem sociologického či politologického odhadování jednotlivců či společenské debaty na základě předložených dat z výzkumného šetření. 

f) Jakým způsobem byla data sbírána?

Existují čtyři hlavní metody: rozhovory osobní, telefonické, online nebo dotazníky odesílané poštou (poslední se v ČR již v podstatě nevyužívá). Každá z metod má své silné a slabé stránky, je vždy potřeba se ujistit, že pro sběr dat není v populaci nějaká bariéra (např. přístup k internetu u starší populace).

Všechny metody jsou závislé na dostupnosti a ochotě oslovených spolupracovat, míra odezvy se může výrazně lišit, také téma výzkumu motivuje k zapojení vždy trochu jiné respondenty, můžeme také vyslovit hypotézy o vlivu každé dotazovací metody na kvalitu odpovědí. V každém případě renomované společnosti vyvinuly statistické techniky, které řeší řadu těchto problémů a zpracují hrubá data tak, aby bylo dosaženo reprezentativních výsledků a do jisté míry byla odstraněna i nevýběrová chyba.

g) Jaké otázky byly respondentům položeny?

Snažte se získat kopii úplného dotazníku s popisem způsobu dotazování, nejen zveřejněné otázky. Důvěryhodná výzkumná organizace publikuje celé znění dotazníku na svých internetových stránkách, nebo dotazník na vyžádání poskytne. Vyhodnoťte si, zda jsou otázky kladeny vyváženým způsobem a zda nejsou otázky strukturovány tak, že by mohly zavádět respondenta k nějakému určitému závěru.

h) Jsou výsledky v souladu s ostatními výzkumy?

Pokud je to možné, porovnejte odlišnosti i shodu výsledků s dalšími dostupnými výzkumy. Výzkumy na stejné téma by měly dospět k podobným závěrům. Pokud se výrazným způsobem liší, mělo by být vysvětlení patrné z konstrukce dotazníku a způsobu výběru vzorku. Pokud výzkumná organizace publikuje výzkumy pravidelně, je dobré se podívat na trendy, které daný výzkum vykazuje. Potvrzují se trendy v delší časové řadě? Pokud dochází k nějaké výrazné odchylce, je realizační tým tuto odchylku ochoten vysvětlit?

i) Byl to nátlakový průzkum?  

Cílem nátlakového průzkumu je rozšiřovat fámy nebo naprosté lži o soupeřích či oponentech. Takové aktivity nelze považovat za výzkumy, ale spíše za politickou manipulaci, která se pokouší schovat za kouřovou clonu průzkumu veřejného mínění. V takové nátlakové anketě se například telefonicky osloví velké množství lidí s žádostí o účast v údajném výzkumu. Výzkumné otázky jsou v podstatě lehce zastřená obvinění proti soupeři, nebo opakováním pomluv o profesionálním či osobním vystupování protikandidáta. Renomované výzkumné organizace nemají s podobnými nátlakovými anketami nic společného, i když je to fenomén, který v některých zemích v poslední době narůstá. Výzkumný obor v rámci svých seberegulačních pravidel má také korigující mechanismy. 

j) Je sběr dat nezávislé kontrolován?

Poctivý sběr dat je náročná a drahá záležitost. U osobního a telefonického dotazování potřebujete poučené tazatele, kteří správně vedou rozhovor. Kontroluje se, zda rozhovor s respondentem proběhl tak, jak bylo určeno v dotazovacím úkolu. Části rozhovorů se nahrávají a následně provádí pozorní supervizoři náslechy, kde se kontroluje, zda tazatelé nějakým způsobem respondenty neovlivňují a zda správně zaznamenávají odpovědi. V případě online dotazování je třeba prověřit identitu respondenta, vkládají se kontrolní otázky, měří se doba vyplňování a provádí se logická kontrola získaných dat.

Kromě interní kontroly zkušeným terénním týmem samotné agentury jsou tu také náhodné kontroly realizovaných projektů auditorským týmem SIMAR. Kontroly se provádí pravidelně u členských agentur SIMAR, tým SIMAR také kontroluje sběr dat na žádost klienta u projektů členských i nečlenských agentur. Více o kontrolách zde.