Na tropie psotnika i klikacza

Ich motywacje bywają różne: zwykła nuda, chęć pokazania się albo nadzieja na zarobek. Łączy ich jedno: wszyscy niezwykle skutecznie uprzykrzają życie badaczowi rynku.

O nierzetelnych respondentach w badaniach internetowych i sposobach radzenia sobie z nimi opowiada Maciej Milewski w wywiadzie z Tomaszem Gregorczykiem

Maciej Milewski

Dyrektor zarządzający Interaktywnego Instytutu Badań Rynkowych. Po studiach rozpoczął pracę jako asystent w Katedrze Makrostruktur Społecznych KUL. Od 2004 roku związany z Gemius SA, początkowo jako research executive, a od marca 2005 roku jako dyrektor zarządzający Interaktywnego Instytutu Badań Rynkowych. Autor publikacji i prelegent na licznych konferencjach poświęconych problematyce Internetu oraz badań marketingowych.

Na tropie psotnika i klikacza
Tomasz GregorczykTomasz Gregorczyk

Proszę powiedzieć, po co w ogóle ktoś miałby podawać w badaniach internetowych nieprawdziwe odpowiedzi, kłamać i konfabulować?

Maciej MilewskiMaciej Milewski

To dobre pytanie i odpowiedź na nie wcale nie jest prosta. Oczywiście nie tylko w badaniach internetowych zdarzają się ludzie, którzy podają nie do końca prawdziwe informacje. Podobną sytuację mamy w wywiadach telefonicznych czy bezpośrednich. Nierzetelni respondenci nie są problemem tylko i wyłącznie badań internetowych.

Specyfiką badań w Internecie jest co innego. Istnieją dwa zasadnicze rodzaje motywacji do podawania nieprawdziwych informacji. Pierwszy nazwałbym motywacją merkantylną. Regułą w internetowych badaniach panelowych jest wynagradzanie respondentów za każdy wywiad (najczęściej w formie punktów zamienianych potem na nagrody lub realną gotówkę). W naturalny sposób pojawia się tu pole do nadużyć – kłamie się po to, aby wziąć udział w badaniu i coś zyskać.

Szukając konkretnej grupy docelowej, zwykle na samym początku ankiety badacz zadaje pytania sprawdzające, czy dany respondent jest faktycznie tym osobnikiem, którego potrzebuje. Nie jest tajemnicą, że „zawodowemu paneliście” nietrudno jest odgadnąć, jakich osób badacz szuka. Pierwsza motywacja do oszustwa pojawia się więc na etapie doboru grupy.

Tomasz Gregorczyk

A drugi typ motywacji?

Maciej Milewski

Motywacja drugiego typu pojawia się już w trakcie samego badania. Tu motywacje są już bardziej skomplikowane, bo nie wynikają bezpośrednio z jakichkolwiek korzyści. Raczej z uwarunkowań psychologicznych, osobowościowych itd.

Analizując respondentów oszukujących podczas badania, doszliśmy do wniosku, że dzielą się oni na dwie kategorie, odpowiadające z grubsza dwóm typom ich motywacji. Pierwsza grupa to „psotnicy” – typ respondentów bardzo zbliżony do trolli z forów internetowych. To ludzie podający nieprawdziwe informacje intencjonalnie: chcą nam zrobić psikusa, dokuczyć itp. Z podobnych przyczyn wypisuje się na forach obraźliwe albo po prostu głupie treści.

Wyjaśnienie tego zjawiska nie jest trywialne. U jego podłoża tkwi nadmiar wolnego czasu i, powiedziałbym, niezbyt pozytywne nastawienie do świata i innych ludzi. Jeśli psotnik ma okazję, by wziąć udział w naszym badaniu, to skwapliwie z niej skorzysta i przeleje w nim swoją nienawiść i żółć, wyrazi opinię wobec zjawisk, które go drażnią, choć najczęściej nie mają one nic wspólnego z tematem badania.

Druga grupa to „klikacze”. Ich motywacją jest potrzeba stymulacji. Nie widzimy w tej grupie tendencji do intencjonalnego kłamstwa czy konfabulacji. Raczej jest to kwestia braku należytej uwagi i zbyt szybkiego wypełniania naszych kwestionariuszy. Klikaczom może brakować czasu, niemniej chcą bardzo wyrazić swoją opinię.

Podsumowując – motywacją jest nuda i frustracja w przypadku psotników oraz potrzeba stymulacji w przypadku klikaczy.

Tomasz Gregorczyk

Jak dalece nierzetelność badanych może wpłynąć na wyniki badań? Innymi słowy – jaka jest skala tego zjawiska?

Maciej Milewski

Z analiz wynika, że może to dotyczyć kilkunastu procent badanych. Czyli – gdybyśmy chcieli przeprowadzić analizę na podstawie badania internetowego i uzyskanego zbioru odpowiedzi nie przeczyścilibyśmy odpowiednio, to prawdopodobnie około 15 procent odpowiedzi nadawałoby się do kosza.

Oczywiście mamy pewne możliwości, aby takie odpowiedzi eliminować. Przed analizą pozbywamy się osobników jak psotnicy czy klikacze ze zbiorów danych i gwarantujemy, że wyniki badania są oparte na odpowiedziach rzetelnych respondentów, a nie konfabulantów.

Tomasz Gregorczyk

Który ze wspomnianych typów jest bardziej uciążliwy dla badaczy?

Maciej Milewski

Uciążliwy i pozostawiający badacza w stanie pewnej bezradności jest typ psotnika. Czego by badacz nie zrobił, zawsze mogą trafić mu się psotnicy i nie ma na to rady. Natomiast w przypadku ludzi oszukujących, aby wziąć udział w badaniu, rozwiązaniem jest niepłacenie za badanie. Oczywiście to rozwiązanie niekiedy trudno zaimplementować.

Typem zdecydowanie mniej kłopotliwym są klikacze. Bardzo wiele zależy od precyzji w sformułowaniu pytań, długości kwestionariusza itd. Klikacz bardzo często zaznacza sprzeczne odpowiedzi. Robi to nieintencjonalnie, więc im lepiej przygotowane jest narzędzie, tym mniejszy udział nierzetelnych respondentów obserwujemy później w wynikach badania.

Oczywiście trzeba mieć do tego odpowiednie know-how i lata doświadczeń, bo inaczej nierzetelnych respondentów można przeoczyć.

Tomasz Gregorczyk

A jak radzić sobie z psotnikami i łowcami punktów?

Maciej Milewski

Szereg rozwiązań stosuje się już po zakończeniu procesu zbierania danych. Do ich wyczyszczenia służy wielokrotne sprawdzanie nieścisłości w odpowiedziach, porównywanie profilu demograficznego z odpowiedziami czy analiza schematów odpowiedzi.

Tomasz Gregorczyk

Jakieś przykłady?

Maciej Milewski

Najbardziej typowy przykład: respondent zapytany o marki, których najczęściej używa, wybiera kilka odpowiedzi. Tyle że wcześniej zapytaliśmy go o marki, jakie w ogóle zna, i one nie pokrywają się z tymi, których używa – na przykład twierdzi, że używa marki, której nie zna.

Przypadki szesnastolatków z wyższym wykształceniem to już właściwie klasyka. W zasadzie w każdym badaniu pojawiają się specyficzne niespójności, które da się wychwycić dobrze skonstruowanym narzędziem.

Tomasz Gregorczyk

Nierzetelni respondenci nie są problemem nowym i nieznanym. Możemy założyć, że firmy badawcze dobrze wiedzą, jak sobie z nim radzić?

Maciej Milewski

Oczekiwałbym, że tak. Wiem, że podejmowane są energiczne branżowe inicjatywy ograniczające napływ fałszywych respondentów do badań płatnych. Poza tym to kwestia know-how każdej firmy.

Zresztą jeśli chodzi o rzetelność respondentów w badaniach innych niż internetowe, to mam wrażenie, że problem jest tam jeszcze dwukrotnie większy – do nierzetelności badanych dochodzi jeszcze nierzetelność ankieterów. Firmy zajmujące się realizacją badań tradycyjnych muszą brać pod uwagę obie te sprawy. Kwestie realizacji terenowych są mimo wszystko większym wyzwaniem niż badania internetowe, gdzie tego pośredniego elementu w postaci ankietera nie ma.