Víkendové čtení: O chudých debilech a síťových trakařistech

Univerzálnost a rozšíření počítačů už způsobily zvlčení různých řemesel. Za všechny zmíním typografii. Umění, které bylo kdysi chráněné hradbou složitého písmolijectví, drahé sazby a ještě dražšího tisku. Dneska se už typografie víceméně dopouštíme všichni. Jak se zdá, nejnovějším adeptem na zvulgárnění v širokých lidových masách je nejspíše sociologie.

Dostal se mi totiž do rukou výsledek jednoho on-line průzkumu. Ne jen tak ledajakého. Zákazníkem je nadnárodní firma, zpráva s výsledky hýří bušením se v prsa. Jak jinak – tím, jak je on-line průzkum a nedejbože crowd-sourcing in, kokreativní a cojávímcoještě. Jenomže,  mé odborné oko hned dodalo, že chybky se přeci jen vloudily. A některé rozměrů – jak to jenom říct… Jako kráva, no.

A teď, tlupo, raď!

Pro sebe trochu nezvykle vám neřeknu o koho nebo o co jde. Jednak to není můj materiál a jednak – mně se on-line panely jako metoda líbí. Nechci tedy vylít z vaničky on-line batole jenom proto, že nějaký “kváziodborník” v této oblasti čůrá do sociologických kalhot. Nicméně se zde pokusím shrnout a co je u těchto druhů výzkumů opravdu jinak. Tak jako kdysi vznikli “grafikové z lidu”, když sousedovic Pepa už měl ten počítač, jak v něm šly dělat ty plakáty, dneska, jak se zdá, se nám zde objevují lidoví sociologové.

Mluvit budeme o on-line průzkumech, kterými se dneska nahrazují klasické kvantitativní metody (osobní nebo telefonické dotazování, pošta se u nás vlastně nikdy ani stihla ujmout). Ba co víc, díky interaktivitě a možnosti použití multimédií se on-line panely stále více pokoušejí přebírat i agendu kvalitativních výzkumných metod (skupinové, řízené rozhovory a pod.). Jdou zde udělat i poměrně zvláštní věci. Například odpovědi na otevřené otázky lze nabídnou dalším respondentům, aby se k nim přidali a zbytečně nepoužívali další formulace (které se pak špatně hodnotí).

Tím se dostáváme k oné kokreaci (správně spolutvorbě). Sdílet samozřejmě jdou nejenom vlastní odpovědi, ale i cokoliv dalšího. A tak lze respondenty požádat, aby zkusili navrhnout značce barvu, nebo vymysleli slogan, vybrali jeden z kreativních konceptů… Zkrátka, přímo se zapojili například do dizajnu produktu, nebo tvorby reklamy. Jakmile to uděláte, prý už nejde jenom o průzkum, ale o crowd-sourcing. Ono, vlastně je to pravda. Svěříte tím část úkolu skupině, tlupě, davu, ať už si crowd budete vykládat jakkoliv.

Zde ovšem musím předeslat, že spolutvorba se nerovná on-line výzkumům, ty mohou pouze využívat některé prvky crowd-sourcingu – nemohou jej nahrazovat. To co musíte dělat/sdílet se spolutvůrci ve většině případů NESMÍTE dělat ani sdílet s respondenty výzkumů. A další rys – zatímco ve výzkumných panelech je fluktuace účastníků žádoucí, u tvůrčích komunit platí přesný opak. Pokud vám někdo tvrdí opak platí – rychle vypoklonkovat ze dveří.

Zlidovění je možné, neb u on-line výzkumů už není zapotřebí sítě dotazovatelů, složitých distribučních a sběrných systémů. To si založíte web, slíbíte odměnu za každý vyplněný dotazník – a jedete. Je z vás (hóódně teoreticky) výzkumná agentura. No a právě zde je kámen úrazu. Ani tisíc fontů v počítači z vás neudělá typografa – a stejně ani panel s 30 tisíci lidmi z vás neudělá sociologa. Nic na tom nezmění ani oblíben marketingový folklór kolem: to když evoluce dostane přílepek “r-“ a je z ní najednou Revoluce, která se olepí řadou chytře znějících módních novotvarů.

Samozřejmě, on-line výzkum netrpí neduhy jiných metod. Trpí svými vlastními – a jak se dočtete dále, nejde o žádné banality. Jenomže, v rámci všeobecného revolučního nadšení se o nich jaksi nesluší mluvit. Jedna věc je ale horší: lidová sociologie je zcela přirozeně - neprofesionální.

Feidiovy ryby: Kdybys’ vody nalil na ně, ty ryby plavaly by…

…je můj oblíbený aforizmus od římského básníka Marcuse Valeria Martialise. Aby bylo jasno: Feidiás byl celý starověk nejuznávanějším řeckým sochařem (mimo jiné i údajným autorem jednoho ze starověkých divů světa – Diovy sochy v Olympii), ale žádné jeho dílo se nedochovalo v originálu. Martialis zřejmě viděl nějaké jeho ryby. Kdyby tomu tak bylo, pak by opravdu platilo, že kdyby, pak by… Až na to, že těch podmínek je jaksi příliš.

Co mě v té výzkumné zprávě okamžitě praštilo do očí totiž byla otázka, zda by si zkoumaní lidé koupili produkt XY. Jenomže - co si lidé myslí že udělají “kdyby” a co opravdu dělají “kdyby” jsou dvě různé věci. U nákupů to platí dvojnásob. Faktorů, které zde v reálu zvažujeme, je běžně přes deset. Předchozí zkušenosti se značkou, vliv okolí (rodina, přátelé, autority v dané oblasti…), definice a intenzita potřeb, finanční disponibilita… Co z toho je třeba zvažovat kvůli pouhému kliknutí myší?

Jinými slovy: koupili byste si třistakoňový vůz se spotřebou jako Fábie? Já jo. Zvláště, když mi někdo přímo tuto otázku v dotazníku opepří oněmi pozitivy. Samozřejmě: o vzhledu, ceně, náročnosti údržby a jiných potenciálně problematických faktorech zde není ani zmínka. A přesně tohle se v tom výzkumu stalo.

Nedejbože v této fázi odpovíte NE? U takto profesionálně položeného dotazu si můžete být téměř jistí, že někdo se podívá na váš profil a pokud patříte do příjmové nižší skupiny, klidně prohlásí, že je to kvůli tomu že jste chudý. Anebo třebas proto, že nemáte dostatečné vzdělání, anebo proto, že jste prostě debil, co nechápe nabízené výhody. A přitom jste pouze mohli - pro sociologa-amatéra překvapivě – zohlednit jeden nebo vícero z oné dlouhé řady nejmenovaných faktorů. Znásilnění přesných čísel nepřesnou nebo nelogickou interpretací se občas (věřme, že nechtíc) dopouští i profesionálové.

Jaký jsem vs. jakého bych chtěl, abyste mě viděli

Sebeprezentace není prázdný pojem. Ona opravdu existuje. Nejde o nic, co by psychologie už dávno neznala. Nakonec – pokud se na vás někdo chce dopustit opravdu zodpovědného psychologického testování, musí do série testů zařadit i test na tzv. index lži. Ten zjistí, jak moc se právě v tuto chvíli a v této situaci (test za jistým účelem) stylizujete. Z tohoto pohledu je sociologický výzkum velice podobný. Máme přirozenou tendenci poskytovat společensky přijatelné odpovědi – jsme prostě sociální zvířátka. Jenomže lžiindex zde nikdo nezkoumá. Ono to (až na drobné výjimky) totiž v sociologickém dotazování spolehlivě udělat nejde. A tak se zde musí dotazy brousit až na kost, aby nenaváděly k očekávaným odpovědím.

Výhody výrobku zkoumaného v oné zprávě totiž navíc mířily do oblasti zdraví. Můžete v klidu odpovědět že si radši koupíte bůček když vám někdo předkládá salát co chutná jako bůček? Takže kromě sugestivní otázky (koupili byste si výhodu) zde máme ještě i sociální tlak: volba zdravého jídla je prostě společensky přijatelnější – a vy tušíte, že to bude někdo číst. Za svůj výběr zde nemusíte počítat s žádnými následky (nemusíte to kupovat, ani jíst). Jedna z dalších zásadních otázek (na cenu – ještě o ní budeme mluvit později) pak trpí stejnými neduhy. Nejenom že je od původního - a zásadního - dotazu na odhad příštího chování (koupím-nekoupím) odtržená. Opět je totiž “vylepšená”: “Kolik byste byli ochotní zaplatit za TAK DOBRÝ výrobek?”

V tomto ohledu náš “crowd-sourcingo-on-line-panelistický Pepa” zjevně nezvládá ani elementární výzkumnickou abecedu: co jsou sugestivní otázky, co je jejich sociální citlivost, jaký vliv mají jednotlivé metody a pod. Nejstarší studie které si na toto téma pamatuji jsou datovány z konce čtyřicátých let, nejletitější, ale stále aktuální knížka v mé papírové knihovně nese letopočet 1974... Ano, tyto faktory se projevují v on-line průzkumech méně než třebas u osobního nebo telefonického dotazování ale div se světe, více, než u papírově-poštovní klasiky. Takže opět žádná horká novinka…

Abych ale nebyl za úplnou konzervu… Pokud se chcete na toto téma dozvědět něco na úrovní doby, vřele doporučuji práce jedné z největších současných kapacit na problémy sebeprezentace v průzkumech - Norberta Schwarze (úplný životopis, PDF, 146 kB, online má osobní stránky i s mnoha stáhnutelnými studiemi). Kam až tato králičí nora se pak přehledně dozvíte z jeho staršího, ale stále aktuálního článku - Jak otázky formují odpovědi (anglicky, PDF, 3 MB).

Kolik chci zaplatit? Nic!

Úplně samostatnou kapitolu u sociologů-amatérů pak tvoří cena. Jde o univerzální srovnávací měřítko. Má motivující i demotivující prvky oběma směry – nahoru i dolů. Vlivů, kterými působí na nákupní rozhodnutí je zkrátka nepočítaně. Pokud tohle vím, nemohu se při plném vědomí ve výzkumu jednoduše zeptat “Kolik byste byli ochotní zaplatit za BlaBla?”

Za prvé, opět se octneme v pasti reálné odpovědnosti za klik myší. Ten přeci nestojí nic. Za druhé, opět kolem obchází strašidlo sebeprezentace: mně přeci vyšší cena nevadí, mám na to! A to se ještě může připlést kupa dalších faktorů. Účastníci on-line panelů spolu často diskutují. Dokonce firma, která panel zřizuje se z principu snaží o co nejživější komunikaci a dokonce podporuje vzájemnou diskusi mezi panelisty (což je trochu sporné).

A teď si představte, že jste se kdysi vyjádřili v zápalu diskuse o nějakém výrobku hodně negativně. Jaká bude nejspíše vaše odpověď v dotazníku ohledně toho, jste za onen Vámi kritizovaný výrobek ochotní zaplatit? Jak nejlépe dokážete komunitě, že jste měli pravdu? No přece tak, že se budete snažit dostat akceptovatelnou cenu výrobku co nejníže. Výsledky totiž uvidí plus-mínus stejní lidé, jako onu diskusi. Abych se mohl vyhnout odborné definici - prostě na bití psa je každá hůl dobrá.

Izolovaný dotaz na cenu v této podobě je prostě po všech stránkách neprůkazný. Nestaví výrobek do žádného kontextu s užitými vlastnostmi ani konkurencí, nepředstavuje volbu o X aspektech, nerespektuje zákazníkovu přirozený sklon upřednostňovat co nejnižší cenu. Ano, existuje pár výjimek, kdy by vám tyto odpovědi k něčemu byly. Třebas u odhadu obecných psychologických cenových hladin v celé kategorii výrobků. Což ovšem rozhodně nebyl případ zprávy, kterou zde mám.

Přitom metody k dispozici jsou. A opět – nejde o žádný výkřik poslední módy. Zkoumání ceny v co nejneutrálnější vazbě k vlastnostem produktu a s co nejvěrnější simulací jejího vlivu na nákupní rozhodnutí je kapitolou samou o sobě (navíc, trochu nudnou a matematickou). Takže, pokud opravdu chcete vědět co jsou konjunkční analýzy  a proč se tento cca 30 let starý druh technik právě kvůli on-line panelům v posledních deseti letech dále rychle rozvíjí, přečtěte si alespoň nejrozumnější přehled (anglicky, DOC, 124 KB) který jsem na toto téma na internetu našel.

Proč stále upozorňuji na věkovitost všech těch metod? Jednoduše proto, že sociologie se nezrodila s on-line panely. “Novost” neomlouvá opakování starých chyb. Proto ani pod zástavou marketingu nelze tyto pojmy libovolně znásilňovat jenom proto, že jsou “nové”. I onen ultranový “kokreativní crowd-sourcing” zde byl už před více než sto lety. Co na tom změnil samotný internet? Pouze prostředky. Ne podstatu.

Co je na on-line výzkumu opravdu nového?

Na rozdíl od klasického výzkumu nebo spolutvorby se především nesmírně zrychlila zpětná vazba. Na odpovědi není třeba čekat týdny a nestane se, že by “vašeho člověka”  sežrali grizzlyové nebo unesli Indiáni než stihnete poděkovat za názor (viz ilustraci vpravo). Je mnohem lehčí sdílení multimédií a dá se tudy diskutovat jednodušeji, než přes telefon. Tam někde ale rozdíly končí.

Představte si, že by v dobách pouze papírové pošty někdo lidem za jejich názor/spolutvorbu platil. Ne že by to nešlo. Ale nikdo to nedělal, protože rizika s tím spojená byla příliš vysoká. Například vznik “profesionálních odpovídačů”. Jenomže za účast v průzkumech prostřednictvím on-line panelů se platí. V případě českého panelu Prosebe například od 10 Kč více.

Práh vstupu do dnešních výzkumně/crowd-sourcových skupin je hodně nízký (většinou se stačí registrovat přes web a pak nanejvýš potvrdit svou identitu příjmem poštovní zásilky). Jenomže stejně nízký (ne-li výrazně nižší) práh vás dělí od pasivního přístupu. Prostě se tam už nevrátíte nebo nikdy nic nevyplníte. Firma vlastnící panel se vám v tom snaží zabránit všemi prostředky. Podporou komunitních aktivit, soutěžemi, speciálními odměnami… Jinými slovy, snaží se o co největší aktivitu respondentů. A o jejich co největší stabilitu. I když (jak si ukážeme později) by měla být jejich primárním zájmem co nejčastější obměna.

Ano, i klasické průzkumy pracovaly s řízeným výběrem a měly vytipované typické příslušníky těch či oněch skupin. Ovšem vzhledem k tomu, že měly k dispozici i náhodný výběr v dostatečně velikých vzorcích, museli se na vytipované typické reprezentanty vzácnějších socio-demografických skupin (nejčastěji specifické profesní či příjmové skupiny) obracet přímo v mnohem méně případech. Jenomže v hyperaktivním on-line panelu nemusíte ani být ničím zvláštní, abyste svými charakteristikami vyhověli i několika průzkumům týdně.

Pokud navíc patříte do dobré příjmové skupiny anebo jste v panelu jiná extra-klobása (manažer s vyšším příjmem, který normálně na podobné věci nemá čas) můžete očekávat i celou záplavu dotazníků. S každým dalším průzkumem ovšem získáváte nadstandardní znalosti a přehled o různých trzích a stále méně jste typickým příslušníkem sociální skupiny, kterou v panelu reprezentujete. A čím váš živočišní druh vzácnější, tím je výsledné zkreslení způsobené učením větší. Dříve nebo později bude vaše objektivita ve vztahu ke značkám stát (sociologicky) za starou bačkoru.

Pak je zde háček možná nejzávažnější: odměna láká nemalé procento problémových respondentů. Jejich společným rysem je to, že buď svým chováním průzkumy doslova sabotují, nebo přinejmenším přestávají být “normální”. Patří sem “rychlíci”, kteří dotazníky jednoduše proklikají v nejkratším možném čase. A 10 kaček je v kapse… Druhou podobnou skupinou jsou “přímočařisti”. Ti si s odpověďmi prostě moc nelámou hlavy. Odpovídají nevýrazně nebo nekonzistentně – je jim to v zásadě jedno, hlavně ať to mají za sebou. No a jak už jsme zmiňovali, problematičtí jsou “profíci”. Ať už proto, že se měsíčně účastní i desítek průzkumů anebo proto, že jsou účastníky každého dostupného panelu. Pak se může klidně stát, že váš dotaz na spontánní znalost značek zodpovídá někdo, kdo před týdnem procházel jejich jmenný seznam v průzkumu vašeho konkurenta na jiném panelu…

Co vám trakařisté sami od sebe neřeknou

Je opět čas na citát – tentokráte ze statusu na Facebooku, kterého se před měsícem dopustil Vilém Rubeš: “Zleva i zprava setkání s novokřtěnci a čerstvými objeviteli Principu Trakaře, kteřížto ve svatém evangelizačním nadšení blahosklonně (neboť právě JIM ta PRAVDA byla sdělena) vysvětlují Zázrak, že jedno kolo, dvě tyče a pár příčných štanglí umožňují lehčeji přepravit náklad...”

Svolení citovat jsem si vyžádal, neboť poeticky ostře popisuje i mé pocity, když čtu různá zvěstování ultranových konečných pravd. Výzkumy přes on-line panely a crowd-sourcing nejsou výjimkou. Chápu něčí nadšení, když objeví (pro něj) nový pojem. Co chápu výrazně méně, je absolutní ztráta kritického myšlení spojená s každou módní vlnou. Z toho co jsme si řekli doteď je jasné, že přes množství nesporných výhod trpí nová on-line výzkumná mantra i kupou neduhů. Jak jsme si ukázali zčásti starých, protože v záchvatu novátorství zapomíná na profesionalitu. Ale i nových – a nejde o žádné banality. O těch vám ovšem evangelisté neřeknou. Zmíním teď jenom ty nejzávažnější:

1. Složení: Panel je více-méně uzavřená komunita. Kdo není registrovaný, jako by neexistoval. Skladba panelistů je ovšem závislá od způsobu, jakým byli rekrutováni. Jiná skvadra vám do komunity napadá přes banner na Seznamu a jiná přes tiskový inzerát. V ideálním případě by mělo celkové složení panelu kopírovat obecnou populaci. V malých zemích jde spíše o zbožné přání, ale obecně platí: čím pestřejší a “fyzičtější” je způsob rekrutace, tím blíže k ideálu. Ovšem nezapomínejte, že penetrace internetem je v ČR ještě stále hodně asymetrická (stále je nedostatek lidí s nižšími příjmy, vzděláním a ve vyšším věku). Teoreticky by to měl dobrý panel co nejlépe kompenzovat zvýšeným rekrutačním úsilím ´”off-line”.

2. Kontrola respondentů: Jak už jsem zmiňoval, odměna korumpuje. První háček je tedy ve způsobu ověřování identity. Ten musí být co nejsofistikovanější. Rozhodně nestačí pouhé ověření e-mailu. V ideálním případě by měla být identita ověřená i nějakým “off-line” způsobem – například klasickou poštou, telefonátem a pod. Stejně ovšem nikdo nezabrání tomu, aby si respondenti při uvádění svých sociodemografických dat nevymýšleli. Jistě – tomu nezabráníte ani u ostatních metod. U nich ale není žádná motivace stát se třebas hospodyní (pozor, to může být i chlap), nebo vrcholovým manažerem či podnikatelem – zkrátka, příslušníkem nějaké výzkumně atraktivní skupiny. Pokud to ale uděláte v panelu, můžete vydělat víc… Panel navíc měl být schopný deklarovat, jakými technickými prostředky ověřuje, zda nejde o falešné účty (kontrola IP adres, cookies a pod.).

3. Ověřování odpovědí: Každý on-line výzkumník by měl být schopný doložit, jak (a jestli vůbec) ověřuje odpovědi, které panelisté uvedli v tom-kterém výzkumu. Automatické by mělo být vyloučení “rychlíků” – dotazníky dokončené v mimořádně krátkém čase se prostě nesmí dostat do výsledků. To samé platí pro “přímočaristy” i když v poněkud měkčí podobě. Může se stát, že někdo (nebo celá skupina) nemá na něco vyhraněnější názor. Ovšem panel by měl neustále kontrolovat jednotlivé respondenty i individuálně a regulérně vylučovat ty, kteří vykazují problémová nebo nekonzistentní tvrzení napříč tématy a co nejdříve je vyloučit z dalšího dotazování. No a nakonec by výzkumníci bez váhání měli být schopní odpovědět na otázku, zda a kdy se lidé odpovídající ve výzkumu už někdy zúčastnili dotazovaní na podobné téma.

4. Stáří a údržba panelu: U on-line panelů platí (u spolutvorby je to spíše naopak), že čím novější, tím lepší. Důvod jsme už zmínili: čím zkušenější respondenti jsou, tím více se názorově vzdalují sobě podobným lidem z reálného světa. Postupně získávají nadstandardní množství informací z různých oblastí, učí se nahlížet na své nákupní chování sofistikovanějším způsobem a podobně. Proto by dobrý panel měl fungovat způsobem – vepředu nastupují, vzadu vypadávají. Tím se dostáváme k “profesionálům”. Přiznám se, nevím, jak funguje nebo nefunguje vzájemná spolupráce mezi těmi asi 10 panely aktuálně fungujícími v ČR. Ale soudě podle jiných oblastí, nejspíše minimálně, nebo úplně nulově. Proč? Jenom společným sdílením dat o respondentech by firmy dokázaly opravdu vyloučit ty lidi, kteří jsou současně ve více než jednom panelu, nebo přestupují z jednoho do druhého. Nebudu opakovat, proč je to problém. Z toho ovšem plyne i prostá metoda, jak si udělat o tom-kterém panelu obrázek: alespoň občas byste se měli potkat s jeho neutuchajícími rekrutovacími aktivitami zasahujícími i do vašeho světa.

Hádejte, co jsem se o těchto aspektech dozvěděl v oné inkriminované zprávě? Tušíte správně: Velké NIC. Místo toho jsem se na powerpointovém slajdu, který měl v titulu “metodu” (až na dva, ne moc konkrétní fakty) dozvěděl akorát kupu žvástů  typu “jsme rychlí, kokreativní a bla-bla-bla”.

Z komára velbloud?

Já vím, doteď jsem moc nepředvedl, že bych to dítě ve vaničce chtěl nechat. Opak je pravdou. On-line výzkumy jsou opravdu mimořádně rychlé a obecně několikanásobně levnější než jakýkoliv jiný způsob sběru dat. A to ještě nemluvím o tom, jaké možnosti skýtá plné využití interaktivity. Představte si, že můžete panelisty požádat, ať vám svým mobilem třebas vyfotí skříňku s pánskou kosmetikou v koupelně. Osobně jsem velký fanda do testování produktů před/po vlastní zkušenosti s nimi. To zde on-line udělat mnohem spolehlivěji, než jakoukoliv simulací při osobním dotazování. A nabízí se spousta dalších nových možností…

Jenomže o to nebezpečnější jsou v této oblasti amatéři. Osobně se docela obávám stavu, kdy se zde on-line panely stanou nedůvěryhodnou metodou jenom proto, že budou zdrojem nespolehlivých dat. Ať už kvůli tomu, že se jich zmocní “Pepové s pécéčky co na nich dělají ty průzkumy”, nebo proto, že díky nedostatečné kontrole a profesionální otevřenosti se dostaneme do stavu, kdy nám postupně (nebo nedejbože naráz) bude u všech panelů odpovídat ta samá skupina profesionálních respondentů. S falešnými identitami, množená přes anonymizéry a cizí počítače a s vymyšlenými demografickými charakteristikami. A v tomto směru platí, čím menší země, tím větší riziko… Navíc, čím delší tradice v on-line průzkumech, tím více se podobné problémy kumulují. Nevšímat si toho dnes zadělává na zítřejší VELKÉ průšvihy.

Abychom si ukázali, jak dramatické jsou vlivy i u panelů provozovaných s největší péčí, zabrousíme k americké firmě Mktg. Incorporated, která se na audity on-line panelů specializuje. Vřele doporučuji tamější sbírku volně dostupných studií a článků. Následující ukázka pochází právě odsud a je vesměs datována rokem 2009. Zabývá se situací na americkém trhu, který je ve srovnání s tím našim minimálně o pět let napřed.  Ukážeme si, jak velké a zásadní vlivy mohou mít na výsledky vašeho průzkumu právě ony “zamlčené” charakteristiky panelů.

“Rychlíci” (speeders)

Zde je vidět, jak rozdílné podíly rychlovyplňovačů dotazníků mohou mít různé panely. Nejnižší podíl z amerických panelů zde má M11 (M15 je britský panel zařazený do přehledu pouze kvůli srovnání). Zajímavé na něm je, že se zde respondenti mohou zúčastnit maximálně dvou průzkumů u třech klientů – a mají utrum. K výskytu “rychlíků” ovšem mohou vést různé cesty: třebas panel M10 je bezplatná služba fungující jako sociální síť. A tedy bez odměn. V tomto směru zřejmě sehrává svou roli lehkovážnost převážně mladých dobrovolníků. I na tom je vidět, jak důležité je, aby do hodnocení dotazníků byl zahrnut minimální časový limit. Radši ať je vzorek o těch 10% menší, než aby měl na výsledky vliv takto veliký podíl náhodně odklikaných položek.

Profesionální respondenti

Zde je vidět, jak moc “profesionalizovaná” je ta-která síť. Opět v pozitivním smyslu vévodí vzorek M11, kde (téměř) stoprocentně platí, že respondent není členem žádného jiného panelu. Dobrovolná a nijak neodměňovaná síť M10 je zase pro “sběrače odměn” neatraktivní. Ale jinak? Právě zde se asi nejvíce projevuje vliv toho, jakým způsobem panel nabírá nové respondenty. U lidí získaných přes telefon je průměrná účast pouze ve dvou panelech. Pokud ale nábor probíhá přes internet, prudce roste šance, že nováčci už jsou členy až čtyřech jiných panelů.

Pokud se chcete dozvědět mnohem více podrobností, podívejte se do plného textu studie, odkud tato tvrzení a grafy pochází: GITTELMAN, Steve, TRIMARCHI, Elaine: On the road to clarity: Differences between sample sources (anglicky, PDF, 695 KB). Mimo jiné se zde dozvíte i jak moc ovlivňují tyto faktory konzistentnost odpovědí, přesnost při měření nákupního chování a podobně. Obecně platí – statistická chyba vás u on-line panelů moc trápit nemusí. Odfláklý výzkum lehko může poletovat desítky procent od skutečnosti…

Kurňa, nešlo to všechno říct stručněji?

Pokud jste se prokousali těmi asi dvaceti tisíci znaky až sem, asi jste si už tuto otázku položili. Jistě že šlo. Teoreticky stačí dva odkazy, které míří on-line panelům přímo na solar. Prvním z nich je on-line seznam 26 otázek pro potenciální klienty on-line panelů (anglicky) od celosvětového sdružení výzkumníků ESOMAR, které mezi jiným dohlíží na dodržování profesních standardů. A druhým je (na můj vkus hodně stručné) odvozené doporučení české odnože SIMAR. Také bych mohl prostě říct: “Drazí klienti, moc, moc prosím, žádejte si u on-line panelů podrobný rozpis metodologie!” Jenomže za tím by následovala typická tříletá protiotázka: “Proč?” Tento článek didakticky pomalu odpovídá: “Proto!” 

Se stručností bych si možná vystačil i v případě, že by se mi do rukou nedostala ona inkriminovaná výzkumná zpráva. Žádné obecné doporučení totiž nepopisuje až takovouto směs sociologického amatérismu, matení pojmů a ignorování podstaty on-line výzkumů. A já mám silné podezření, že v ČR má několik dalších firem a jejich projektů našlápnuto přesně tímto směrem. Jak už to zde bývá, mohou mlžením, šmé, rychlou produkcí novotvarů a usilovným publikováním zamotat kupu hlav. Reklamních i marketérských.

V tomto případě ale jde o čas. Čím dříve se povede oddělit profesionální panely (podle všeho zde již takové existují) od “Pepů s počítači”, tím dříve a tím lepší renomé si zde on-line výzkum vydobude. A tím dříve v něm začnou platit skutečně profesionální kritéria.

Připomínám, nejsem výzkumník. Ale nebaví mě vysvětlovat klientům, že jejich data jsou sice “moderní” a v hezky načančaném obalu, ale zhola neprůkazná. A už vůbec se mi nechce vymlouvat, proč se jimi nehodlám řídit ve své práci.

Na to nejsem dost “IN”.