Vzdělávání > Veřejné mínění > Otázky a odpovědi

Vzdělávání

O výzkumu veřejného mínění v otázkách a odpovědích


Mezinárodní výzkumná organizace ESOMAR vydala spolu s WAPOR publikaci, která se podrobně zabývá pravidly provádění, interpretace a publikování výzkumů veřejného mínění. Součástí jsou také níže uvedené otázky a odpovědi, které pomohou všem, kteří se o tuto oblast zajímají, získat základní orientaci v problematice vypovídací hodnoty a kvality výzkumů veřejného mínění. 

1. Co je výzkum veřejného mínění?
2. Co činí průzkum "vědeckým"?
3. Jak se vybírá skutečně reprezentativní vzorek?
4. Dělají výzkumné agentury ještě něco jiného, aby byla dosažena reprezentativita vzorku?
5. Jsou tím jiné druhy výzkumů zákonitě špatné?
6. Když ale v telefonické či online anketě hlasuje například milión lidí, pak jsou výsledky zcela určitě přesnější, než výzkum se vzorkem 1 000 respondentů?
7. Jak můžete vědět, co si myslí milion lidí, když se zeptáte jen 1 000 nebo 2 000 respondentů?
8. Není zde ale riziko výběrové chyby při výzkumu 1 000 nebo 2 000 respondentů?
9. Říkáte, že tyto výpočty platí pro "náhodný průzkum se 100% mírou odezvy". Jedná se tedy o nedosažitelný cíl? 
10. Není tedy statistická chyba ve skutečnosti mnohem větší?
11. Znamená to tedy, že průzkumům veřejného mínění nelze vůbec věřit?
12. Mohu důvěřovat internetovému výzkumu?
13. Viděl jsem průzkumy prováděné různými uznávanými společnostmi, jejichž výsledky řešící stejnou otázku se výrazně lišily. Jak je to možné?
14.  Může způsob, jakým je položena otázka, ovlivnit odpověď?
15. Jak poznám, že mohu brát výsledky výzkumu veřejného mínění vážně?


 

1. Co je výzkum veřejného mínění?

Výzkum veřejného mínění je forma vědeckého a reprezentativního šetření, která je navržena pro měření názorů jisté specifické populace – například voličů v daném státě (u většiny výzkumů), nebo např. rodičů či členů odborů.

2. Co činí průzkum "vědeckým"?

Vědecký výzkum je charakterizován těmito dvěma faktory:
a) respondenti jsou vybírání výzkumnou organizací za použití jasně formulovaných kritérií, aby byla zajištěna reprezentativita, respondenti se tedy nevybírají sami
b) otázky byly formulovány vyváženým způsobem

Příklad: pokud je v populaci 52% žen a 30% ve věkové kategorii 55+, vědecký výzkum zajistí, že tyto skupiny jsou v šetření zastoupeny odpovídajícím způsobem a otázky budou vyvážené a nebudou respondenty zavádět k jistému typu odpovědi.

3. Jak se vybírá skutečně reprezentativní vzorek?

Existují dvě hlavní metody. První z nich je náhodný výběr, druhou je kvótní výběr vzorku. V prvním případě výzkumná agentura vybere respondenty náhodným výběrem ze seznamu telefonních čísel nebo e-mailových adres (pro CATI – telefonický výzkum, či nějaký on-line výzkum), nebo z náhodně vybraných adres či jmen vybraných například ze seznamu voličů. Takto vybraní respondenti jsou poté kontaktováni a jsou tazateli požádáni o účast na výzkumu. Kvótní výběr předpokládá stanovení jistých kvótních kritérií – například věk a pohlaví – a tazatel má poté za úkol najít respondenty s profilem, který naplní tyto charakteristiky. Průzkumy prováděné osobním rozhovorem (PAPI, CAPI) obvykle využívají kvótní výběr. Některé on-line metody také používají kvótní výběr pro vytvoření reprezentatitivního vzorku z databáze respondentů, kteří tyto informace o sobě již poskytli. Kvótní výběr může být použit i na vzorku původně vytvořeném náhodným výběrem např. z telefonních čísel, vybere se osoba z dané domácnosti, která odpovídá kvótním kritériím, urychlí se tím tak sběr dat.

4. Dělají výzkumné agentury ještě něco jiného, aby byla dosažena reprezentativita vzorku?

Ano, dělají. Zatímco dobře provedený náhodný či kvótní výběr zajistí v obecné rovině správné zastoupení v populaci, z několika důvodů může stále obsahovat příliš mnoho reprezentantů jisté skupiny a naopak příliš málo nějaké jiné skupiny. Obvykle při výzkumném šetření agentura zjišťuje názory respondenta, ale také se zeptá na několik informací o respondentovi samotném. Takové informace se pak použijí na porovnání vybraného vzorku s (například) výstupy z posledního sčítání lidu. Hrubá data z výzkumu pak mohou být mírně upravena tak, aby odpovídala rozložení skupin v populaci, která je předmětem zjišťování. Pokud je například zjištěno, že byla sebrána data 100 reprezentantů jisté demografické skupiny, ale v populaci jich je 110 (v celkovém vzorku 1 000 či 2 000 respondentů), odpověď bude převážena tak, že těchto 100 respondentů bude počítáno jako 1,1 osoby. Tímto způsobem publikovaná procenta pak odrážejí celkovou populaci.

5. Jsou tím jiné druhy výzkumů zákonitě špatné? 

Ne. Stejně jako zastavené hodiny dvakrát denně ukáží správný čas, bude nevědecký průzkum občas produkovat správná procenta. Je zde však větší pravděpodobnost, že zde budou nepřesnosti. Nejběžnějšími formami nevědeckých zjišťování bývají různé ankety pořádané v souvislosti s nějakým televizním pořadem, které spoléhají na určitou část populace, která sama zavolá se svým názorem, podobným příkladem jsou různé online ankety, kde se sám uživatel rozhodne, že bude hlasovat. Takové ankety obsahují dvě neodstranitelné chyby. Za prvé se sami respondenti rozhodnou, že se vyjádří k danému tématu. Taková situace  přitahuje osoby, které mají nějakým způsobem vyhraněný názor na danou problematiku. Za druhé tyto ankety často neobsahují další otázky, které by umožnily odpovídající úpravu vzorku, aby odrážel názor v celé populaci (např. pohlaví, věk atp.).

6. Když ale v telefonické či online anketě hlasuje například milión lidí, pak jsou výsledky zcela určitě přesnější, než výzkum se vzorkem 1 000 respondentů?

Není tomu tak. Neobjektivní vzorek je neobjektivní vzorek, ať je jakkoliv veliký. Jeden ze slavných příkladů dobře ilustrující tuto situaci byly prezidentské volby v USA v roce 1936. Jeden časopis, literární přehled, rozeslal 10 miliónů pohlednic s dotazy na voličské preference a obdržel téměř 2,3 miliónů odpovědí, které přisuzovaly vítězství Alfredu Landonovi nad Franklinem Rooseveltem v poměru 57 resp. 43%. Časopis nesbíral informace o složení vzorku, které by umožnily hodnotit jeho kvalitu, ani nepřevážil skupiny, které byly zastoupeny ve větší či menší míře. Vzhledem k tomu, že časopis poslal své pohlednice převážně lidem, kteří vlastnili telefon a automobil, jejich vzorek obsahoval velmi málo dělníků. Mladý výzkumník George Gallup použil mnohem menší vzorek (i když s 50 000 respondenty byl stále mnohem větší, než se používá dnes). Protože však zajistil, aby vzorek byl v základní populaci reprezentativní, správně ukázal, že Roosevelt vyhraje na celé čáře.

7. Jak můžete vědět, co si myslí milion lidí, když se zeptáte jen 1 000 nebo 2 000 respondentů? 

V podstatě stejným způsobem jako kuchař posuzuje velký hrnec polévky tím, že ochutná jednu lžíci. Za předpokladu, že polévka je dobře zamíchaná a lžíce této polévky je "reprezentativní", jedna lžíce bohatě stačí. Volební výzkumy fungují na stejném principu: dosažení reprezentativního vzorku populace je v zásadě podobné míchání polévky. Nevědecký průzkum je jako nehybný hrnec polévky. Kuchař může sníst velké množství z horní části a přesto získá zavádějící obraz, pokud některá z přísad klesla až na dno. Stejně jako u triku s dobře promíchanou polévkou je podstatou vědeckého průzkumu zajištění reprezentativního vzorku v cílové populaci, není pak potřeba obrovský vzorek.

8. Není zde ale riziko výběrové chyby při výzkumu 1 000 nebo 2 000 respondentů?

Ano, riziko existuje. Míru rizika však statistická teorie umí odhadnout. Představte si zemi, kde existuje nějaký problém. 50% lidí zastává jeden názor, zatímco druhých 50% si myslí opak. Statistická teorie nám říká, že v náhodném průzkumu mezi 1 000 lidí s 100% mírou odezvy v 19 případech z 20 bude chyba do 3 procentních bodů. Jinými slovy: zaznamenaný výsledek může být nejméně 47% a nejvíce 53% pro každý názor. Je tu ale šance jednu ku 20, že výsledek bude mimo tento rozsah. Se vzorkem 2 000 respondentů bude statistická chyba v rozmezí 2 procentních bodů, opět v 19 případech z 20.

9. Říkáte, že tyto výpočty platí pro "náhodný průzkum se 100% mírou odezvy". 
Jedná se tedy o nedosažitelný cíl?

Něco pravdy na tom je. Mnohé průzkumy nejsou náhodné a míra odezvy je často mnohem  nižší – tedy méně než 50% v mnohých zemích, kde se průzkum realizuje během několika dní.

10. Není tedy statistická chyba ve skutečnosti mnohem větší?

Možná ano, ale možná ne. Zde jsou dva příklady ilustrující extrémy tohoto problému. Vraťme se k našemu příkladu na poloviny názorově rozdělené země. Předpokládejme, že všichni zastávající názor B žijí na jihu. Pokud bude výzkumné šetření prováděno z poloviny na severu a z druhé poloviny na jihu, pak bude výsledek přesně odpovídat. Přizpůsobení výběrového podílu rozložení populace se nazývá stratifikací. Pokud se stratifikace provede správně, měření bude celkem přesné.

Pojďme si vytvořit další předpoklad o naší mytické, na poloviny rozdělené zemi.

Předpokládejme, že lidé, kteří zastávají názor A jsou, s větší pravděpodobností než skupina B, také členy náboženské nebo etnické menšiny, která nerada odpovídá na otázky. Pokud si výzkumná agentura není této anomálie vědoma, může publikovat výsledky, které budou sdělovat, že názor B je mnohem populárnější než názor A. Toto je systematická chyba.

Abychom mohli zjistit skutečnou odchylku, museli bychom vzít v úvahu chybu vznikající pří náhodném výběru, efekt stratifikace a také systematickou chybu.  Problém je v tom, že je těžké - a zřejmě nemožné - znát opravdový vliv stratifikace a systematické chyby. Samozřejmě, pokud by vliv systematické chyby byl vyčíslitelný, výzkumná agentura by upravila výsledky odpovídajícím způsobem.

11. Znamená to tedy, že průzkumům veřejného mínění nelze vůbec věřit?

Nikoliv. Průzkumy nejsou bezchybné, ale stále je to nejlepší způsob, jak změřit, co si veřejnost myslí. Ve většině zemí jsou výsledky dobře navržených průzkumů v toleranci 3 procentních bodů, i když občas zabloudí mimo rozsah statistické odchylky. Navíc, ve většině případů, výzkumy jsou dobrým vodítkem o vývoji názorů, i když třeba někdy chybují ve větším rozsahu. Pokud dobře navržený, reprezentativní průzkum zjistí, že veřejnost se v názoru na jistý problém rozděluje 70 ku 30%, pak ani desetiprocentní chyba nemůže změnit skutečnost, že jeden názor převládá. Je však také pravdou, že ve volbách, kde je velmi těsný rozdíl mezi kandidáty, výsledek výzkumu s nižší než 5% výhodou pro jednoho z kandidátů ještě nelze považovat za jasný indikátor výhody v době, kdy byl výzkum uskutečněn – a už vůbec ne jako garance výhry v dalších dnech, týdnech či měsících.

12. Mohu důvěřovat internetovému výzkumu?

Odpověď závisí na způsobu, jakým je vybrán vzorek v cílové populaci. To platí pro jakoukoliv výzkumnou metodu, tedy např. i pro osobní či telefonické rozhovory. Pokud lze pomocí dané metody získat reprezentativní vzorek cílové populace, pak můžeme odpovědět ano, takovému výzkumu lze důvěřovat. Existují však oblasti a skupiny obyvatel, které jsou pro osobní rozhovory tazateli velmi obtížně zasažitelné, stejně tak jako existují tací, kteří nemají přístup k internetu. Pokud vychýlení vzniklé metodou sběru dat nelze opravit stratifikací nebo vážením, neposkytuje taková metoda reprezentativní vzorek a nemůže být považována za důvěryhodnou.

V některých případech může být penetrace internetu dostatečně  vysoká a internet může být i tou nejlepší variantou pro sběr dat, ale vzhledem k nízké penetraci internetu v některých zemích a tím nízké reprezentativitě by se k internetovým výzkumům zvláště základní populace mělo přistupovat s opatrností. Internetové průzkumy používají pro průzkumy on-line panely složené z lidí, kteří dali předem souhlas s tím, že budou kontaktováni pro výzkumné účely. ESOMAR vydal doporučení „26 otázek, které pomohou zadavatelům hodnotit kvalitu internetového panelu“.

13. Viděl jsem průzkumy prováděné různými uznávanými společnostmi, jejichž výsledky řešící stejnou otázku se výrazně lišily. Jak je to možné?

Existuje celá řada možných důvodů, kromě těch souvisejících s výběrovou chybou.

a)    Výzkumy mohly být prováděny v různá časová období, i když byly publikovány ve stejnou dobu. Názory mnoha lidí jsou proměnlivé a podléhají změnám v reakci na různé události. Může se proto stát, že oba průzkumy měly pravdu a společenská nálada se v časovém období mezi těmito dvěma výzkumy změnila.

b)    Průzkumy mohly různým způsobem vymezit cílovou populaci, na které proběhlo výzkumné šetření (např. různý věk, region, etnická skupina atp.).

c)     Výzkum mohl být proveden odlišnou metodou sběru dat. Výsledky mohou být ovlivněny systematickou chybou, vlivem metodiky, kde je prokázáno, že lidé vědomě či nevědomě odpovídají  odlišně, pokud jsou dotazování tazatelem v osobním rozhovoru v porovnání s tím, jak odpovídají samostatně na otázky zaslané poštou či elektronicky. U některých citlivých otázek se u samostatně vyplňovaných výzkumů projeví větší otevřenost respondentů.

d)    Ve výzkumu mohly být kladeny různé otázky. Formulace otázky je velice důležitá zvláště u témat, ve kterých nemají lidé vyhraněné názory. Je vždy důležité porovnat přesné znění otázky, pokud se výsledky výzkumů liší.

e)    Může zde být patrný efekt pořadí otázek. Jeden z výzkumů může jistou otázku položit na počátku dotazování, jiný ke konci dotazování, po sérii dalších dotazů na dané téma. Díky různému pořadí dotazů mohou vzniknout dvě sady odlišných výsledků, zvláště pokud lidé nemají vyhraněný názor. Někdy odpoví jinak v závislosti na tom, zda otázka byla položená bez kontextu, a jinak, když byly požádáni o aspektech této otázky předem uvažovat.

14.  Může způsob, jakým je položena otázka, ovlivnit odpověď?

Máme mnoho znalostí o tom, jak by měly otázky být formulovány.

Existují rozsáhlé znalosti o tom, jak lidé zpracovávají informace, na jejichž základě můžeme správně formulovat otázky. Hlavně je ale třeba spolehnout se na zdravý úsudek. Je důležité se konkrétně podívat, jak byla otázka položena, a pokud je to možné, zkontrolujeme i otázky položené před tím. Otázky mohou obsahovat pojmy, které vedou respondenta určitým směrem, např. „Zdá se, že je méně policistů v ulicích, a hodně lidí tady je znepokojenou rostoucí kriminalitou, myslíte si, že policie je zde poddimenzovaná?“ , nebo mohou otázky obsahovat více než jeden pojem, ale možnosti odpovědi nabízí odpověď jen na jeden z nich, např. „Jak dobře městská rada přispívá k řešení dopravní zácpy a nedostatků ve veřejné dopravě?“ sledující problematiku veřejné dopravy. Takové otázky neposkytnou jasné a užitečné odpovědi o tom, co si lidé skutečně myslí o policii či veřejné dopravě.

Kontext, ve kterém jsou dotazy pokládány, mohou samozřejmě ovlivnit způsob, jakým lidé reagují. Pokud se na otázku o kriminalitě zeptáme po baterii otázek o tom, zda se lidé někdy cítili ohrožení ve veřejné dopravě nebo zda mají příbuzné či přátele, kteří byli přepadeni apod., je pravděpodobné, že více lidí projeví znepokojení, než kdybychom se na otázku o kriminalitě zeptali bez takového kontextu. Pokud interpretujeme odpovědi na takto položené otázky, je důležité si toto zkreslení a nejednoznačnost uvědomit, výsledky nejsou přesným odrazem toho, co si lidé skutečně myslí. Takový typ dotazování je zvláště oblíbený u nátlakových skupin, které je často používají, aby získaly mediální pokrytí pro svůj pohled na věc. Zodpovědný novinář by takové výsledky neměl publikovat nebo by měl upozornit na vychýlení díky chybně položeným otázkám, pokud se rozhodne tyto výsledky publikovat.

15. Jak poznám, že výsledky výzkumu veřejného mínění mohu brát vážně?

Zkontrolujte následující:

a) Kdo tento výzkum realizoval?

Byla to seriózní, nezávislá výzkumná organizace? Pokud nikoliv, přistupujte k výsledkům se zvýšenou opatrností. Pokud si nejste jisti, jednou možností je otestovat ochotu realizátora výzkumu odpovídat na následující otázky. Renomované organizace vám poskytnou informace, které potřebujete k vyhodnocení důvěryhodnosti výzkumu. 

b) Kdo financoval tento výzkum a proč to dělá? 

Pokud byl výzkum proveden pro respektované médium nebo samostatnými výzkumnými pracovníky, je zde dobrá šance, že se jedná o nestranné šetření. V případě, že výzkum byl proveden nějakou skupinou přívrženců, nátlakovou skupinou nebo politickou stranou, může to stále být dobře provedený výzkum, ale čtenáři/diváci/posluchači by měli být informováni, kdo výzkum prováděl a zadal. Správnost výzkumu závisí na tom, zda byla provedena výzkumnou organizací za použití vědeckých výzkumných metod pro odebrání vzorku a při tvorbě dotazníku, zda byly otázky položeny nestranně a zda jsou informace o položených otázkách a výsledcích šetření plně k dispozici. Pokud tyto informace k dispozici nejsou, pak je třeba k takovému výzkumu přistupovat s opatrností. V každém případě dejte pozor na zavádějící otázky a selektivní zjištění, jejichž cílem je posílit jistý názor blízký zadavateli výzkumu, spíše než objektivně referovat o objektivním veřejném mínění.

c) Kolik lidí bylo ve výzkumu dotazováno

Čím více lidí, tím lépe - i když malý vzorek vědecky pojatého výzkumu je vždy lepší, než velký vzorek složený z lidí, kteří se rozhodli zapojit sami. Je důležité si uvědomit, že velikost vzorku není jediný relevantní údaj. Například ve volebním modelu se často vykazují data, která vylučují nerozhodnuté voliče či ty, kteří odmítli prozradit své volební preference, a respondenty, kteří deklarovali, že se voleb nezúčastní. Vyloučení těchto skupin sice zaznamená názory nejrelevantnější skupiny rozhodnutých voličů, konečný vzorek může být tím ve výsledku mnohem menší a chyba výběru tím větší. Opatrnosti je také třeba při dělení vzorku na jednotlivé skupiny – např. ženy a muže – chyba výběru je pro tento soubor větší než pro celý výběrový soubor. Jestliže je celková velikost vzorku 500 a skládá se ze stejného počtu mužů a žen, je interval spolehlivosti pro každé pohlaví přibližně 6 procentních bodů.

d) Jakým způsobem byli vybráni respondenti?

Je jasně řečeno, kdo byl do výběrového souboru zahrnut, kdo je tedy součástí vzorku a kdo byl vynechán? Použila výzkumná organizace pro výběr jednu z metod popsanou v bodech 2, 3 a 4 uvedených výše? Pokud se jednalo o anketu, kde se respondenti sami zapojili do šetření – např. čtenáři časopisu, televizní diváci pošlou dopis, e-mail, nebo textovou zprávu, nelze takto získané informace považovat za reprezentativní výzkum. Pokud byl výzkum prováděn pouze v určitých místech, například ve městech, ale ne ve venkovských oblastech, pak je třeba tuto informaci v každé zprávě uvádět.

e) Kdy se výzkum uskutečnil?

Různé události mohou mít dramatický dopad na výsledky výzkumů veřejného mínění. Výsledky je proto nutné interpretovat v souvislosti s klíčovými událostmi. Dokonce i nejčerstvější výsledky mohou rychle zastarávat díky událostem. Výzkumy, které jsou staré několik týdnů či měsíců, mohou být naprosto v pořádku, pokud se například vztahují k základním kulturním postojům či chování spíše než výzkumy týkající se aktuálních událostí, ale i v tomto případě je důležité uvést období, kdy byl výzkum uskutečněn (nejen publikován). Konkrétní datum terénního šetření je v předvolebních výzkumech zvláště důležité, protože volební preference se mohou měnit až do okamžiku, kdy volič odevzdává svůj hlas.

f) Jakým způsobem byla data sbírána?

Existují čtyři hlavní metody: rozhovory osobní, telefonické, on-line nebo dotazníky odesílané poštou. Každá z metod má své silné a slabé stránky. Telefonická metoda nezasáhne ty, kteří nemají telefon. On-line výzkum zasáhne pouze ty, kteří mají přístup k internetu. Všechny metody jsou závislé na dostupnosti a ochotě oslovených spolupracovat, míra odezvy se může výrazně lišit. V každém případě renomované společnosti vyvinuly statistické techniky, které řeší řadu těchto problémů a zpracují hrubá data tak, aby bylo dosaženo reprezentativních výsledků (viz bod 3 a 4 výše).

g) Jaké otázky byly respondentům položeny?

Snažte se získat kopii úplného dotazníku, nejen zveřejněné otázky. Důvěryhodná výzkumná organizace publikuje celé znění dotazníku na svých internetových stránkách nebo jej poskytnou na vyžádání. Vyhodnoťte si, zda jsou otázky kladeny vyváženým způsobem a zda nejsou otázky strukturovány tak, že by mohly zavádět respondenta k nějakému určitému závěru.

h) Jsou výsledky v souladu s ostatními výzkumy?

Pokud je to možné, porovnejte odlišnosti i shodu výsledků s dalšími dostupnými výzkumy. Výzkumy na stejné téma by měly dospět k podobným závěrům. Pokud se výrazným způsobem liší, mělo by být vysvětlení patrné z konstrukce dotazníku a způsobu výběru vzorku.

i) Byl to nátlakový průzkum?  

Cílem nátlakového průzkumu je rozšiřovat fámy nebo naprosté lži o soupeřích či oponentech. Takové aktivity nelze považovat za výzkumy, ale spíše za politickou manipulaci, která se pokouší schovat za kouřovou clonu průzkumu veřejného mínění. V takové nátlakové anketě se například telefonicky osloví velké množství lidí s žádostí o účast v údajném výzkumu. Výzkumné otázky jsou v podstatě lehce zastřená obvinění proti soupeři, nebo opakováním pomluv o profesionálním či osobním vystupování protikandidáta. Renomované výzkumné organizace nemají s podobnými nátlakovými anketami nic společného, i když je to fenomén, který v některých zemích v poslední době narůstá.