CUM CITIM SONDAJELE DE OPINIE? Ne explică sociologul Cătălin Stoica

Profesorul și sociologul Cătălin Stoica ne explică:

CUM CITIM SONDAJELE DE OPINIE?

Întrucât în perioada asta de negociere a formării unui nou guvern sau, cine știe?, poate chiar alegeri anticipate, vom fi bombardați de sondaje si sondaje, iată citeva reguli pentru evaluarea sondajelor pe teme politice electorale (pe care le-am tradus si adaptat din Ghidul ESOMAR [World Research Association of Opinion and Marketing Research Professionals]). Regulile 1 si 7 le-am adăugat eu. Regula 1 este special formulata ținând cont de experiența mea din Romania. In rest, toate celelalte reguli sunt din sursele indicate mai sus si constituie exemple de bune practici la nivel internațional. Postarea e mai lunga dar sper ca e utila celor din afara domeniului:

1) Regula de aur (in contextul romanesc): verificați dacă sondajul într-adevăr există. Unii politicieni și jurnaliști invocă sondaje non-existente. Încercați să luați legătura cu firma de sondare pentru a va confirma existența sondajului. Comparați apoi cifrele date publicității cu cele furnizate de firma de sondare (dacă se poate). Sunt cazuri în care politicienii sau PR-ul lor "scăpa" pe surse cifre modificate ale unor sondaje de opinie; evident, e vorba de cifre modificate în favoarea lor sau în defavoarea competitorilor politici. (Se practică asta fără ca institutul de sondare sa aiba vreo vină; de aceea e important să încercați sa găsiți raportul sondajului, asumat de institutul respectiv.)

2) Cine a realizat sondajul? E vorba de o firma independentă sau nu? Intr-o lume ideală, acționariatul/proprietarii unei firme de sondare ar trebui sa fie irelevanți in privința datelor. Daca firma de sondare are in spate actori politici, anumite instituții sau oameni de afaceri (sau, in cazul romanesc, oameni care au fost, oficial, apropiați de serviciile secrete dar acum au firma de sondare), fiți rezervați in privința datelor. La același capitol, verificați daca e vorba de o firma cu experiența si performante bune de-a lungul anilor sau de una nou înființata. Fiți rezervați in raport cu firmele nou înființate. Adeseori, in preajma alegerilor apar precum ciupercile după ploaie firme de sondare, înființate doar in încercarea de a promova candidați si influenta potențialii sponsori. Exista excepții: daca o firma nou înființată este independenta si are in rândurile ei specialiști cu experiența in domeniu, acordați un pic de credit rezultatelor sondajului respectiv. (Asta in cazul in care sondajul exista într-adevăr – vezi regula numărul 1, de mai sus.)

3) Cine a platit pentru sondaj? In mod normal, influenta clientului asupra rezultatelor unui sondaj este nula, mai ales in cazul sondajelor realizate de firme independente si cu experiența anterioara buna. O firma de sondare a opiniei publice care se respecta va furniza întotdeauna detalii despre client si metodologia de eșantionare.

4) Care a fost volumul eșantionului? Pentru simțul comun, cu cit sunt mai mulți respondenți, cu atât sondajul este mai credibil. FALS!!! Mărimea unui eșantion este mult mai puțin importanta decit modul in care eșantionul a fost selectat. Spre exemplu, un sondaj realizat pe un eșantion de 30.000 de telespectatori fideli ai unui anumit post tv de știri poate avea erori mult mai mari decit un sondaj realizat pe 800 sau 1.1100 de persoane, selectate probabilist LA NIVEL NATIONAL. (Evident, lucrul asta se datorează si faptului ca telespectatorii fideli ai unui anumit post TV de știri sunt relativ omogeni din punctul de vedere al opiniilor lor politice.) Pe lângă volumul eșantionului, verificați următoarele:

4.1) Cum s-a realizat selecția respondenților? Eșantioanele care au la baza selecția probabilista a respondenților sunt “mai bune” decit cele in care selecția respondenților nu s-a făcut probabilist.

4.2) Care a fost universul de eșantionare (sau grupul ținta) din care au fost selectați respondenții? E vorba de un sondaj realizat la nivel național sau local (localități, județe, regiuni)? E vorba de un sondaj realizat in rândul populației cu drept de vot (la nivel național sau local) sau de un sondaj realizat, sa spunem, in rândurile simpatizanților unui anumit partid?

5) Cum au fost realizate interviurile? ESOMAR invoca 4 mari metode: fata-in-fata (F2F ori face-to-face), telefonic (CATI – Computer Assisted Telephone Interviewing), online sau prin posta. (Ultimele, cele prin posta, sunt istorie ori țin de istoria metodei.) In cazul sondajelor pe teme politice electorale, in anii anteriori, la noi au performante mai ridicate sondajele realizate fata-in-fata comparativ cu cele telefonice si mai ales cu cele online, toti ceilalți factori fiind egali.

6) Cind a fost realizat sondajul? Perioada realizării unui sondaj de acest tip are o importanta majora asupra validității datelor sale, ceteris paribus. Spre exemplu, un sondaj realizat cu 2 luni înaintea alegerilor nu mai este relevant cu o săptămână înaintea acestora. Unii candidați se pot retrage, pe alții ii poate lovi vreun scandal public etc. De altfel, si datorita acestui motiv se spune ca datele sondajelor de opinie pe teme politice electorale sunt perisabile.

7) Cum interpretam diferențele din sondaje? Adeseori presa sau politicienii si goarnele lor (analiști politici, activiști, susținători) vorbesc despre creșteri si scăderi ale scorurilor cind acestea nu exista de fapt. Spre exemplu, daca partidul X a avut intr-un sondaj de acum 2 luni, sa zicem, 17,5% intenții de vot si acum are 18,7% asta nu înseamnă ca acel partid înregistrează o creștere. Pentru a putea sa speculam cu privire la creșterea sau scăderea preferințelor pentru un partid sau altul ar trebui ca diferențele sa fie minimal PESTE MARJA DE EROARE a sondajului (de obicei +/-3 puncte procentuale). Or, 18,7%-17,5%=1,2 puncte procentuale. Asta este practic o egalitate statistica; pentru specialiști, o diferență statistic nesemnificativa. (In treacăt, diferența ar trebui sa fie mai mare decât marja de eroare la nivelul sub-eșantionului de persoane care au exprimați o opțiune de vot, de regula 65%-70% dintr-un eșantion, adica o marja de eroare mai mare decit cea calculata pentru INTREGUL ESANTION de 1.100 de persoane – vezi mai jos.)

Sunt rezultatele sondajului consistente cu cele ale altor sondaje? Aceasta este una dintre cele mai dificile întrebări. Ca regula generala, pentru a compara rezultatele a 2 sondaje realizate de către 2 institute DIFERITE, trebuie sa vă asigurați, minimal, ca: 1) metodologia de eșantionare a fost similara; 2) metoda de intervievare a fost aceeași; 3) întrebările din chestionare au fost aceleași; 4) perioada de realizare a fost relativ aceeași. Cele 4 condiții minimale sunt rar întâlnite întrucât firmele de sondare a opinie publice folosesc metodologii si întrebări diferite (chiar daca asemănătoare, pentru nespecialiști). Eu m-as feri sa compar “mere” cu “pere.” Poate cea mai buna soluție ar fi sa comparați in timp evoluțiile privind intențiile de vot, așa cum apar ele in cadrul sondajelor realizate de aceeași firmă.

Cind va uitați la intenții de vot, fiți atenți/atente la TOTALUL din care sunt exprimate. Cele mai multe institute prezinta intențiile de vot din TOTALUL celor care au exprimat o opțiune, excluzând-i pe cei care spun ca nu vor merge la vot sau care nu au o opțiune (nu știu, nu sunt hotărât). Chestiunea asta e importanta din următorul motiv: in caseta tehnica a unui sondaj, se prezinta de obicei o marja teoretica de eroare calculata la INTREGULUI eșantion. Daca am un eșantion probabilist care a inclus 1.100 de respondenți adulți la nivel național, atunci marja de eroare la nivelul INTREGULUI eșantion e de +/-2,95% la un nivel de încredere de 95%. Daca in acel sondaj îți spun ca (sigur, da & probabil, da) merg la vot 60% dintre respondenți/respondente, asta înseamnă ca sub-eșantionul lor este de 660 de persoane. Or, pentru sub-eșantionul asta (care e mai mic) marja teoretica de eroare e mai mare, e de +/-3,81% la un nivel de încredere de 95%. (Calculele de mai sus sunt o simplificare; discutia pe tema marjei de eroare, a calculului ei pe diferite tipuri de eșantioane e mult mai complexa.)

O NOTA IMPORTANTA: Firmele de sondare care se respecta vor furniza întotdeauna detalii cu privire la metodologia studiului (eșantion, metoda de intervievare, perioada) si perioada de realizare. Nu de puține ori, aceste detalii ori caseta tehnica a sondajului este omisa (intenționat sau nu) atunci cind sondajul este preluat de mass media. Deci, nu dați automat vina pe sondori daca detaliile tehnice lipsesc. Exista si cazuri in care unele firme prezinta așa-zise informații despre metodologia de eșantionare, informații care de fapt nu iți spun nimic (vezi sondajele AtlasIntel unde ca metoda de selecție era menționat "recrutare digitala a respondenților" [?!]; era vorba de un sondaj online, trimis la întâmplare probabil pe net, cu o reprezentativitate, deci, problematica).

9) Care au fost întrebările sondajului? Încercați sa obțineți o copie a întrebărilor date publicității sau a chestionarului de la firma de sondare. In felul acesta veți putea verifica corectitudinea metodologica a formulării întrebărilor si conținutul lor. Aici puteți detecta eventualele erori, care pot fi neintenționate (din neștiința) sau intenționate (situația, noetică, in care "sondorul" formulează întrebări astfel incit ele sa inducă un răspuns, sa avantajeze "clientul"). Alt exemplu referitor la formulare: una e sa întrebi despre părerea (foarte buna, buna, proasta sau foarte proasta) oamenilor referitoare la anumiți candidați (așa-numita favorabilitate) si alta e sa întrebi despre încrederea pe care votanții o au in anumiți candidați. La “încredere” oamenii au evaluări mai conservatoare. Principiul ar fi “am o părere relativ buna despre vecinul meu dar nu as avea încredere sa ii las cheile de la casa pe mina”.

10) Interpretare: in lupta politica, susținătorii unui partid sau candidat invoca uneori cifrele înregistrate la încrederea in personalități/lideri politici. Si ii poti auzi spunând "X se bucura de cea mai mare încredere, 33%". Factural, corect dar lucrurile trebuie puse in perspectiva. In ultimii ani, nici un lider politic nu reușește in Romania sa treacă de 50% încredere multa si foarte multa. Da, liderul ala de mai sus are 33% încredere dar probabil are vreun rest de 60 si ceva la suta de oameni care NU au încredere in el (plus, până la 100%, cei care nu răspund).

11) Precizie si exactitate: de câțiva ani unele institute, cu precădere unul singur, a(u) adoptat metoda prezentării rezultatelor cu o zecimala, ca in SUA. In opinia mea, la eșantioane de 1.100 de persoane sau mai mici, asta e un moft. Se creează o falsă iluzie a preciziei care NU trebuie confundata cu EXACTITATEA. Exemplu: eu va spun ca partidul Y are 17% intenții de vot; un alt institut va spune ca are 17,2% intenții de vot si un al treilea institut vine cu cifra de 17,24%. In mod natural, veți tinde sa dați crezare celui de al treilea institut fiindcă a dat cu doua zecimale. Asta ar fi precizie a măsurării dar toate cele trei sondaje pot sa nu fie EXACTE, adica, la alegeri, partidul respectiv sa aiba de fapt in jur de 13%. Așadar, nu cifrele de după virgula in sine dau măsura performanței măsurării.

Cele de mai sus nu trebuie interpretate ca un rechizitoriu împotriva sondajelor de opinie. Sondajul reprezintă una dintre metodele de cercetare din sociologie si alte discipline. Am lucrat si lucrez mult cu sondaje si analize cantitative. Importante sa nu uitam ca, asemenea oricărei metode, are avantaje si dezavantaje.

Repet, cu excepția regulilor 1 si 7 (plus unele precizări contextuale), toate cele de mai sus sunt adaptate din Ghidul ESOMAR pentru Sondaje de Opinie Publica…

Hope this helps!

PS: Am mai postat chestia asta acum câțiva ani, inainte de alegeri; am mai actualizat acum unele lucruri. Precizez asta ca poate unii au sentimentul de deja vu deși mă îndoiesc.

 CĂTĂLIN AUGUSTIN STOICA este doctor în sociologie al Universității Stanford; are două masterate în sociologie – unul la Stanford și altul la Universitatea Central-Europeană. Între 2007 și 2015 a fost director general al Centrului de Sociologie Urbană și Regională (CURS). În prezent este profesor universitar la Facultatea de Științe Politice din cadrul Școlii Naționale de Studii Politice și Administrative. A mai publicat la Humanitas volumele: România continuă. Schimbare și adaptare în comunism și postcomunism (2018) și Turul doi care n-a fost. Autopsia sumară a unui moment electoral (sperăm) unic (2025)