---

• Reprezentativita, výběr vzorku

1. Jak se vybírá skutečně reprezentativní vzorek?
2. Dělají výzkumné agentury ještě něco jiného, aby byla dosažena reprezentativita vzorku?
3. Když ale v telefonické či online anketě hlasuje například milión lidí, pak jsou výsledky zcela určitě přesnější, než výzkum se vzorkem 1 000 respondentů?
4. Jak můžete vědět, co si myslí milion lidí, když se zeptáte jen 1 000 nebo 2 000 respondentů?
5. Jsou tím jiné druhy výzkumů zákonitě špatné?Není zde ale riziko výběrové chyby při výzkumu 1 000 nebo 2 000 respondentů?
6. Říkáte, že tyto výpočty platí pro "náhodný průzkum se 100% mírou odezvy". Jedná se tedy o nedosažitelný cíl?
7. Není tedy statistická chyba ve skutečnosti mnohem větší?

• Metodika sběru dat

8. Jak se sbírají výzkumná data?
9. Jak se prověřuje se kvalita sebraných dat? 
10. Mohu důvěřovat internetovému výzkumu?
11. Může způsob, jakým je položena otázka, ovlivnit odpověď?
12. Co jsou stranické preference a jak se konstruuje volební model?

 

 

• Reprezentativita, výběr vzorku

1. Jak se vybírá skutečně reprezentativní vzorek?

Existují dvě hlavní metody výběru vzorku. První z nich je náhodný výběr, druhou je kvótní výběr.

Náhodný výběr zajišťuje, že každý v dané populaci má určitou šanci, že bude pro výzkum vybrán. Náhodný výběr lze realizovat u telefonického výzkumu ze seznamu náhodně generovaných telefonních čísel (viz jak funguje náhodný výběr v CATI), nebo při osobním dotazování, kdy se náhodně vyberou adresy či místa a určí se člen domácnosti, který bude dotazován. Takto vybraní respondenti jsou poté kontaktováni tazateli a požádáni o účast ve výzkumu. Z různých důvodů je však skutečně náhodný výběr v praxi hůře dosažitelný. Ideální podmínky výzkumníkům ztěžuje například snižující se ochota respondentů odpovídat, případně ztížený přístup k dobré opoře výběru (například vhodný soubor adres).

Pro zlepšení kvality náhodného výběru výzkumníci kontrolují, zda je populace zastoupena tak, aby výsledný vzorek co nejvíce odpovídal demografickému složení populace. Porovnává se, zda sebraný vzorek obsahuje základní demografické kategorie odpovídající jejich rozložení v populaci, například tak, jak jej vykazuje úplné šetření ČSÚ. Výzkumníci také mohou sledovat další parametry v populaci, o kterých je známo, že mohou hrát roli v předmětu daného šetření, a uzpůsobí tomu sběr dat. 

Kvótní výběr předpokládá stanovení jistých kvótních znaků – například věk, pohlaví, regionalita – a tazatel má poté za úkol najít respondenty s profilem, který naplní tyto charakteristiky. Jak jsme již vysvětlili výše, kvótní výběr může být uplatněn i na vzorku původně vytvořeném náhodným výběrem.  Například se vybere osoba z náhodně vybrané domácnosti, která odpovídá požadovaným kvótním kritériím. Urychlí se tím tak sběr dat. 

On-line metody obvykle používají kvótní výběr pro vytvoření vzorku z databáze respondentů, kteří o sobě již poskytli demografické informace, problematika reprezentativity je zde proto složitější a více se jim věnujeme v otázce č. 10.

Příklad dosažení reprezentativity pomocí kvótního výběru: pokud je v populaci podle informací z ČSÚ 52% žen a z toho 30% ve věkové kategorii 55+, vědecký výzkum zajistí, že tyto skupiny jsou v šetření zastoupeny odpovídajícím způsobem.

2. Dělají výzkumné agentury ještě něco jiného, aby byla dosažena reprezentativita vzorku?

Ano, dělají. Zatímco dobře provedený náhodný či kvótní výběr zajistí v obecné rovině správné zastoupení v populaci, z několika důvodů může stále obsahovat příliš mnoho reprezentantů jisté skupiny a naopak příliš málo nějaké jiné skupiny. Obvykle při výzkumném šetření agentura zjišťuje názory respondenta, ale také se zeptá na několik informací o respondentovi samotném. Takové informace se pak použijí na porovnání vybraného vzorku s (například) výstupy z posledního sčítání lidu.

Hrubá data z výzkumu pak mohou být mírně upravena tak, aby odpovídala rozložení skupin v populaci, která je předmětem zjišťování. Pokud je například zjištěno, že byla sebrána data 100 reprezentantů jisté demografické skupiny, ale v populaci jich je 110 (v celkovém vzorku 1 000 či 2 000 respondentů), odpověď bude převážena tak, že těchto 100 respondentů bude počítáno jako 1,1 osoby. Tímto způsobem publikovaná procenta pak odrážejí celkovou populaci.

3. Když ale v telefonické či online anketě hlasuje například milión lidí, pak jsou výsledky zcela určitě přesnější, než výzkum se vzorkem 1 000 respondentů?

Není tomu tak. Neobjektivní vzorek je neobjektivní vzorek, ať je jakkoliv veliký. Jeden ze slavných příkladů dobře ilustrující tuto situaci byly prezidentské volby v USA v roce 1936. Jeden časopis, literární přehled, rozeslal 10 miliónů pohlednic s dotazy na voličské preference a obdržel téměř 2,3 miliónů odpovědí, které přisuzovaly vítězství Alfredu Landonovi nad Franklinem Rooseveltem v poměru 57 resp. 43%. Časopis nesbíral informace o složení vzorku, které by umožnily hodnotit jeho kvalitu, ani nepřevážil skupiny, které byly zastoupeny ve větší či menší míře. Vzhledem k tomu, že časopis poslal své pohlednice převážně lidem, kteří vlastnili telefon a automobil, jejich vzorek obsahoval velmi málo dělníků. Mladý výzkumník George Gallup použil mnohem menší vzorek (i když s 50 000 respondenty byl stále mnohem větší, než se používá dnes). Protože však zajistil, aby vzorek byl v základní populaci reprezentativní, správně ukázal, že Roosevelt vyhraje na celé čáře.

Ankety, například mezi čtenáři určitého časopisu, nebo názory diváků nějakého televizního pořadu, budou vždy obsahovat tzv. neodstranitelné výběrové chyby. Sami respondenti se zde rozhodují, zda se této ankety zúčastní; budou to tedy spíše osoby s vyhraněným názorem na zjišťovanou problematiku. Další chyba spočívá v tom, že demografický profil takto získaných respondentů neodpovídá demografickému celkovému složení populace, ve které je šetření potřeba provést. Chybu způsobenou samovýběrem a nereprezentativností populace nelze další prací s daty odstranit, proto anketa není spolehlivým podkladem pro rozhodování.

4. Jak můžete vědět, co si myslí milion lidí, když se zeptáte jen 1 000 nebo 2 000 respondentů?

V podstatě stejným způsobem jako kuchař posuzuje velký hrnec polévky tím, že ochutná jednu lžíci. Za předpokladu, že polévka je dobře zamíchaná a lžíce této polévky je "reprezentativní", jedna lžíce bohatě stačí. Volební výzkumy fungují na stejném principu: dosažení reprezentativního vzorku populace je v zásadě podobné míchání polévky.

Nevědecký průzkum je jako nehybný hrnec polévky. Kuchař může sníst velké množství z horní části a přesto získá zavádějící obraz, pokud některá z přísad klesla až na dno. Stejně jako u triku s dobře promíchanou polévkou je podstatou vědeckého průzkumu zajištění reprezentativního vzorku v cílové populaci, není pak potřeba příliš velký, ale vzorek postihující správně celou populaci.

5. Není zde ale riziko výběrové chyby při výzkumu 1 000 nebo 2 000 respondentů? 

Ano, riziko existuje. Míru rizika však statistická teorie umí odhadnout. Představte si zemi, kde existuje nějaký problém. 50% lidí zastává jeden názor, zatímco druhých 50% si myslí opak. Statistická teorie nám říká, že v náhodném průzkumu mezi 1 000 lidí s 100% mírou odezvy v 19 případech z 20 bude chyba do 3 procentních bodů. Jinými slovy: zaznamenaný výsledek může být nejméně 47% a nejvíce 53% pro každý názor. Je tu ale šance jednu ku 20, že výsledek bude mimo tento rozsah. Se vzorkem 2 000 respondentů bude statistická chyba v rozmezí 2 procentních bodů, opět v 19 případech z 20.

6. Říkáte, že tyto výpočty platí pro "náhodný průzkum se 100% mírou odezvy". Jedná se tedy o nedosažitelný cíl?

Něco pravdy na tom je. Mnohé průzkumy nejsou náhodné a míra odezvy je často mnohem nižší – tedy méně než 50%. Odborníci ve výzkumu však porovnávají své výsledky s realitou, pracují na tom, aby získaná data byla dobrým vodítkem pro rozhodování i při nižší ochotě odpovídat. Vzorky získané při nižší ochotě odpovídat mohou tedy stále poskytnout spolehlivé informace. 

7. Není tedy statistická chyba ve skutečnosti mnohem větší?

Možná ano, ale možná ne. Pojďme si to ukázat na dvou příkladech.

Vraťme se k našemu příkladu na poloviny názorově rozdělené země. Předpokládejme, že všichni zastávající názor B žijí na jihu. Pokud bude výzkumné šetření prováděno z poloviny na severu a z druhé poloviny na jihu, pak bude výsledek přesně odpovídat. Přizpůsobení výběrového podílu rozložení populace se nazývá stratifikací. Pokud se stratifikace provede správně, měření bude celkem přesné.

Pojďme si vytvořit další předpoklad o naší mytické, na poloviny rozdělené zemi. Předpokládejme, že lidé, kteří zastávají názor A jsou, s větší pravděpodobností než skupina B, také členy náboženské nebo etnické menšiny, která nerada odpovídá na otázky. Pokud si výzkumná agentura není této anomálie vědoma, může publikovat výsledky, které budou sdělovat, že názor B je mnohem populárnější než názor A. 

Abychom mohli zjistit skutečnou odchylku, museli bychom vzít v úvahu chybu vznikající pří náhodném výběru, efekt stratifikace a také systematickou chybu.  Problém je v tom, že je těžké - a zřejmě nemožné - znát opravdový vliv stratifikace a systematické chyby. Samozřejmě, pokud by vliv systematické chyby byl vyčíslitelný, výzkumná agentura by upravila výsledky odpovídajícím způsobem.

 

• Metodika sběru dat

8. Jak se sbírají výzkumná data?

Většina předvolebních výzkumů na rozvinutých trzích se dělá telefonicky a online. V ČR se část těchto výzkumů provádí také osobním dotazováním, případně kombinací několika metod sběru dat. Každá z metod má své výhody a nevýhody, zkušený výzkumný tým si je vědom předností a limitů každé metody a postupuje tak, aby se z populace, tedy základního souboru všech voličů, vybral skutečně reprezentatitvní soubor.

U osobního dotazování a telefonického výzkumu se obvykle provádí náhodný výběr z celé populace. U osobního dotazování existuje předpis pro tazatele, který zajistí vhodné geografické pokrytí domácností a respondentů v celé ČR. U telefonického dotazování probíhá dotazování vzorku náhodně generovaných telefonních čísel. V ČR používá mobilní telefon 98,8 % populace 16+ (ČSÚ, 2020). 

Problematika online dotazování viz otázka č. 10.

9. Jak se prověřuje se kvalita sebraných dat?

Agenturní tým vždy kontroluje, že sběr dat proběhl podle zadání, na reálných respondentech a bez nežádoucího ovlivňování výsledků tazatelem. Dotazníky, které vykazují chyby, se vyřazují. Sběr dat u členských agentur SIMAR je kontrolován ověřenými postupy a nezávisle auditován podle Standardů kvality, více zde.

10. Mohu důvěřovat internetovému výzkumu?

Odpověď závisí na způsobu, jakým je vybrán vzorek v cílové populaci. To platí pro jakoukoliv výzkumnou metodu, tedy např. i pro osobní či telefonické rozhovory. Pokud lze pomocí dané metody získat reprezentativní vzorek cílové populace, pak můžeme odpovědět ano, takovému výzkumu lze důvěřovat. Existují oblasti a skupiny obyvatel, které jsou pro osobní rozhovory tazateli velmi obtížně zasažitelné, stejně tak jako existují tací, kteří nemají přístup k internetu. Pokud vychýlení vzniklé metodou sběru dat nelze opravit stratifikací nebo vážením, neposkytuje taková metoda reprezentativní vzorek a nemůže být považována za důvěryhodnou.

V některých případech může být penetrace internetu dostatečně  vysoká a internet může být i tou nejlepší variantou pro sběr dat. Vzhledem k nízké penetraci internetu v některých segmentech populace a tím nízké reprezentativitě by se k internetovým výzkumům zvláště obecné populace mělo přistupovat s opatrností, protože lidé bez přístupu k internetu jsou z takového výzkumu předem vyloučeni. Penetrace internetu lidí 16+ je v ČR 81,3 % obyvatel, ale penetrace lidí 65+ je 40,3 % (ČSÚ, 2020). Pokud by se ukázalo, že názor populace 65+ je pro danou problematiku důležitý a lidé nepouživající internet mají odlišné názory, vykazoval by takový sběr dat odlišnosti. 

Je třeba také mít na paměti, že internetové průzkumy používají pro průzkumy on-line panely složené z lidí, kteří dali předem souhlas s tím, že budou kontaktováni pro výzkumné účely. U online průzkumů je tedy třeba zvolit vhodné kroky, aby vznikl vzorek, který skutečně reprezentuje cílovou populaci. Kvalitní online panel musí také důkladně prověřovat identitu respondentů a aplikovat opatření, která zajistí vhodnou kvalitu odpovědí, viz Standard kvality pro online dotazování.

11. Může způsob, jakým je položena otázka, ovlivnit odpověď?

Zcela nepochybně. Máme však mnoho znalostí o tom, jak by měly otázky být formulovány a na tuto problematiku je kladen důraz. Existují rozsáhlé znalosti o tom, jak lidé zpracovávají informace, na jejichž základě můžeme správně formulovat otázky. Je důležité se konkrétně podívat, jak byla otázka položena, a pokud je to možné, zkontrolujeme i předcházející otázky položené v dotazníku. Mezi časté chyby patří například to, že otázky mohou obsahovat pojmy, které vedou respondenta určitým směrem, např. „Zdá se, že je méně policistů v ulicích, a hodně lidí tady je znepokojenou rostoucí kriminalitou, myslíte si, že policie je zde poddimenzovaná?“, nebo mohou otázky obsahovat více než jeden pojem, ale možnosti odpovědi nabízí odpověď jen na jeden z nich, např. „Jak dobře městská rada přispívá k řešení dopravní zácpy a nedostatků ve veřejné dopravě?“ sledující problematiku veřejné dopravy. Takové otázky neposkytnou jasné a užitečné odpovědi o tom, co si lidé skutečně myslí o policii či veřejné dopravě. Konstrukce dotazníku vyžaduje zkušenosti a zdravý úsudek.

Kontext, ve kterém jsou dotazy pokládány, mohou samozřejmě ovlivnit způsob, jakým lidé reagují. Pokud se na otázku o kriminalitě zeptáme po baterii otázek o tom, zda se lidé někdy cítili ohrožení ve veřejné dopravě nebo zda mají příbuzné či přátele, kteří byli přepadeni apod., je pravděpodobné, že více lidí projeví znepokojení, než kdybychom se na otázku o kriminalitě zeptali bez takového kontextu. Pokud interpretujeme odpovědi na takto položené otázky, je důležité si toto zkreslení a nejednoznačnost uvědomit, výsledky nejsou přesným odrazem toho, co si lidé skutečně myslí. Takový typ dotazování je zvláště oblíbený u nátlakových skupin, které je často používají, aby získaly mediální pokrytí pro svůj pohled na věc. Zodpovědný novinář by takové výsledky neměl publikovat nebo by měl upozornit na vychýlení díky chybně položeným otázkám, pokud se rozhodne tyto výsledky publikovat.

12. Co jsou stranické preference a jak se konstruuje volební model?

Každé sociologické šetření, které zkoumá rozhodování voličů v nadcházejích volbách do Poslanecké sněmovny Parlamentu ČR, si musí poradit s dvěma důležitými otázkami:

1. Jak ve výsledcích výzkumu naložit s hlasy těch, kteří se ještě pevně nerozhodli, kterou stranu budou volit.
2. Jak naložit s hlasy těch, kteří deklarují, že své voličské právo nevyužijí, nebo si nejsou jisti, jestli k volbám skutečně půjdou.

Jak se bude dále měnit momentální rozpoložení voličů není lehké odhadovat. Skutečná volební účast závisí třeba i na počasí. Je také nutné si uvědomit, že výsledky dotazování jsou platné v okamžiku šetření, ale již další den mohou být ovlivněny dalším vývojem předvolební kampaně jednotlivých politických subjektů. Výzkum je snímek v daném čase, ale film běží dál. V posledních volbách je také patrný trend voličů rozhodovat se poslední týden před volbami, nebo dokonce přímo ve volební síni. Výzkumná komunita proto diskutuje o různých formách výstupů, které zahrnují voliče již rozhodnuté s určitostí plánující návštěvu volební místnosti, a přemýšlejí nad konstrukcí otázek a celého dotazníku, který pomůže lépe zachytit přirozenou fázi voličského rozhodování. 

Výstup výzkumu veřejného mínění tak může mít několik podob, které se od sebe zásadně liší. Každý z těchto výstupů má své výhody a nevýhody. Stranické preference lze považovat za více inklusivní model, který zahrne širší spektrum vyvíjejích se preferencí voličů, volební model se snaží co nejvíce se přiblížit skutečným výsledkům voleb.