מאת: לאה בלוי
סקר TGI האחרון, שהתפרסם בשבוע שעבר, עורר אצלנו מספר שאלות מקצועיות. תודה לאלכס ולואל המקסימות מקנטאר מדיה שהתאמצו והציגו תשובות למענכם, גולשי פאשקעוויל.
הביקורת
קיימים שני סוגים של ביקורות על כל סקר או מחקר. הסוג האחד מגביל את מסקנות המחקר ודורש לראות את הממצאים בהסתכלות המתאימה. בדרך כלל, הסתייגויות מסוג זה נוגעות לייצוגיות המדגם, לתנאי המחקר ועוד. הסוג השני הוא ביקורת מקצועית, לרוב על שיטות המחקר. כאשר מותחים ביקורת כזו חשוב להיות זהירים מאוד. השתדלנו גם אנו להיזהר, והתייעצנו, לפני כתיבת הדברים, עם אנשי מקצוע נוספים.
בסקירה הבאה ננסה להסביר מדוע אין משמעות מיוחדת לסקר שהתפרסם.
מזה מספר שנים שחברת קנטאר מדיה מגישה הודעה לעיתונות עם נתוני סקר TGI, בצירוף טבלה השוואתית המוכיחה שאין כל הבדל בין שתי התקופות העומדות להשוואה. נכון, המספרים שונים משנה לשנה, אך ההבדל קטן מכדי שנוכל להיות בטוחים שאיננו מקרי. והרי גם אם היו נערכים שני סקרים באותו יום ובאותו זמן, רק עם משתתפים אחרים, היתה סטייה כלשהי. אם הסטייה קטנה היא נחשבת “לא מובהקת”. למרות זאת, אמצעי המדיה המסקרים מידי שנה את TGI, נהנים לספר איזה עיתון “צנח” ומי “עלה באופן מפתיע”.
שאלנו את קנטאר מדיה: ממעקב אחרי הטבלאות שפרסמתם בפעמים האחרונות, אין כל הבדל מובהק בין כל הממצאים בשנים העומדות להשוואה. מנגד, אין לכך כל התייחסות מפורשת מצדכם. יתירה מכך, באופן עקבי, הטבלאות מגיעות לידי עיתונאים שנהנים לציין בכתבותיהם עד כמה אמצעי מדיה מסוים עלה וכיצד משנהו צנח, בשנה שחלפה. האם זה לא מפריע לכם? מבחינה אתית / אנושית / מקצועית, לא מציק לכם לראות פרשנויות מפליגות המסתמכות על אי הבנה סטטיסטית?
בתשובתם הם הפנו אותנו להערה מודגשת בהודעה לעיתונות: “הנתונים המפורטים בטבלה הנם על בסיס מדגם סטטיסטי. דהינו, יש להתייחס לטבלה במלואה כולל העמודות המציגות את טווח הסטייה הסטטיסטית [רווח בר סמך]”.
בתשובתם הם מפרטים כי סקר TGI הוא כלי המתאים ביותר לתכנון מדיה. הוא לא רק סוקר את החשיפה לכל כלי מדיה, אלא מאפשר לבחון מאפיינים נוספים והרגלי צריכה של המשיבים מול המדיה אליהם הם נחשפים. לטענתם, הסקר אינו מיועד כלל לגופי התקשורת השונים והסיבה שהם נכנעו ובשנים האחרונות מוציאים “הודעה לעיתונות” היא העובדה שהסקר מתפרסם בכל מקרה בגופי התקשורת. על הפרשנויות אין להם אחריות, מה שאין כן, על עיוות נתונים.
ממה שיצא לנו לראות בשנים האחרונות, חלק מגופי התקשורת מוחקים את שתי העמודות השמאליות. זהו מעשה חובבני, שכן אינו מאפשר לגלות כי כל השינויים בשנים להשוואה אינם מובהקים, מה שאומר שאין לסקר כל משמעות תקשורתית. לא נצפה באמת שינוי בין שנה שעברה ללפני שנתיים לשנה זו. נקווה שלאור הייאוש מלכתחילה מאמצעי התקשורת המסקרים את TGI, נהיה בפשקוויל הפתעה מרעננת.
גודל המדגם
להלן הטבלה המלאה של נתוני סקר TGI האחרון, כפי שנשלה בשבוע שעבר:
כפי שניתן לקרוא בהערות, המדגם כולל 282 משיבים. זהו גודל קטן משמעותית ביחס למדגם האחרון שעמד על כ-500 משיבים. כמובן, ככל שהמדגם קטן יותר, כך טווח השגיאה גדול יותר.
שאלנו מדוע המדגם הפעם קטן, והנה התשובה: “סקר TGI מבוסס על מדגם מייצג של האוכלוסייה. כחלק מכלל האוכלוסייה, המגזר החרדי נמצא באופן טבעי במדגם. המאגר החרדי הינו עיבוד מיוחד של תוצאות הסקר הכללי שכולל את המדיה הייעודית של המגזר ושיקלול סטטיסטי ייעודי בהתאם להתפלגות הפנימית של המגזר. גודל המדגם הינו פונקציה של המענה של המגזר בסקר הכללי. בדומה לכל סקר אחר, כל פער חוסר או עודף בפלח מסוים באוכלוסייה מתוקן באמצעות שקלול סטטיסטי”.
שקלול, למי שלא יודע, הוא חישוב סטטיסטי שמנסה להתאים את הפרופורציות של המדגם לאוכלוסייה. ננסה להסביר זאת בדוגמה פשטנית. נניח שכל הגברים קוראים עיתון ורוד, ומחצית מהנשים קוראות עיתון סגול. באוכלוסיה יש 50% גברים ו-50% נשים, כך ששיעור הקוראים עיתון ורוד אמור להיות 50% ושיעור הקריאה של עיתון סגול הוא 25%. במדגם לעומת זאת, היו רק 25% גברים וכל השאר נשים, ולכן החשיפה לפי הסקר יצאה 25% לעיתון הורוד ו-37.5% לעיתון הסגול. מכיוון שיש במקרה הזה נתוני השוואה, ניתן לתת משקל שונה לתגובות הגברים והנשים, כך שהחישוב יהיה לפי הפרופורציה המתאימה באוכלוסיה, ותוצאות הסקר המשוקללות-מתוקנות ייצגו את המציאות נאמנה.
אם כך, ביררנו, לפי אלו נתוני השוואה משקללים את המדגם? התמקדות המרכזית היתה במשתנה הזרם. צריכת מדיה חרדית קשורה, במידה רבה, לזרם אליו המשיבים משתייכים. תשובת קנטאר מדיה היא שההשוואה נערכת מול נתוני למ”ס ונתונים חיצוניים נוספים, וזו הטבלה של התפלגות הזרמים הסופית, לאחר השקלול, שקיבלנו לבקשתנו:
| ליטאי | 27.0 |
| חסידי – חב”ד | 5.0 |
| חסידי – חסידות אחרת | 27.0 |
| חרדי ספרדי / עדות מזרח | 32.0 |
| חרדי אחר – סה”כ | 9.0 |
עיניכם הרואות: שיעור הליטאים והחסידים זהה ועומד על 27%, חב”ד – 5%, ספרדים – 32% ואחר – 9%. שיעור החרדים שאינם מזוהים עם זרם מסוים גבוה מעט מהידוע לנו. גם שיעור הספרדים לכאורה גבוה. מעניין לתקף את נתוני החלוקה לזרמים מול ניתוח קלפיות מהבחירות הטריות.
אם גם לכם נראה, שיש הבדלים בין התפלגות הזרמים בסקר להתפלגותם באוכלוסיה, אל תפסלו את הסקר, רק הביטו עליו במשקפיים המתאימות.
שיטת איסוף הנתונים
סקר TGI המלא נעשה על ידי מילוי חוברות בנות עשרות עמודים, המקיפות את כל תחומי הצריכה. ביקשנו לדעת האם איסוף נתוני החשיפה למדיה נעשה באמצעות חוברות אלה.
הנה ציטוט התשובה: “חלק מהמדגם גויס באמצעות סקר טלפוני ראשוני ושליחת חוברת מודפסת בדואר. בנוסף חלק מהסקר מבוצע באמצעות סקר אינטרנטי. מאחר וחלק ניכר של המגזר אינו נמצא / משתמש / מוכן לענות על סקר באינטרנט, מרבית הנשאלים במגזר ממלאים חוברת מודפסת (דואר). לא היו שינויים בשיטה בשנתיים האחרונות”.
התשובה הזו הצמיחה שתי שאלות נוספות: הראשונה, אם מדובר בחוברות – באיזה עמוד נמצאת השאלה על צריכת מדיה? התשובה שקיבלנו מספקת: פרק המדיה נמצא בעמודים הראשונים של החוברת.
ב-TGI כנראה מכירים את הטענה השכיחה המנסה לערער את אמינות התשובות על חוברות כה עמוסות מידע, ומוסיפים כי: “כל שאלון חוזר עובר תהליך בקרה מקיף וקפדני על מנת לוודא כי הנשאל ענה על החוברת במלואה ובצורה נכונה לאורך כל העמודים. תהליך בקרה זה כולל בדיקות לאתר מילוי “חשוד” ו/או “לא עקבי”.
בחזרה לנושא המדגם: הייצוגיות
המענה על הדגימה האינטרנטית מעורר שאלה קשה יותר, כמה מתוך המדגם השיבו על שאלת המדיה המודפסת, שאינה אינטרנט, באמצעות האינטרנט. התשובה: המידע הינו פנימי בלבד.
כמובן שלשאלה הזו יש השלכה מעשית על הבנת נתוני הסקר. אם המדגם מכיל שיעור גבוה יותר של משתמשים ברשת מהשיעור האמיתי שלהם במגזר, יתכן ששיעור החשיפה של כל העיתונים המודפסים נמוך בתוצאות הסקר, מאשר החשיפה האמיתית בכלל החברה החרדית.
יתכן גם שהירידה הקיימת בתקופה הנוכחית לעומת התקופה הקודמת (ירידה לא מובהקת בכל מקרה) היא תוצר של הגדלת שיעור המשיבים באינטרנט.
אגב, לשאלה האם הסקר האינטרנטי כלל את כל השאלות בחוברת לא קיבלנו תשובה. מכיוון שהיא לא עקרונית לנושא שלנו, לא התעכבנו לשאול שוב (מה שאין כן בשאלות עקרוניות).
האם הדגימה האינטרנטית אמורה להשפיע על הבדלי החשיפה בין העיתונים?
זו שאלה שנצטרך להשיב עליה בעצמנו. אנחנו משערים שבקרב הגולשים באינטרנט יש יותר קוראי שבועונים וחינמונים מאשר עיתונים יומיים. יתכן שתחלקו עלינו כמובן. את דעתכם נשמח לקרוא בתגובות.
השוואה בין תקופות
שאלה אחרונה שהופנתה לקנטאר מדיה היא בנוגע לתקופות הסקר. שימו לב להשוואה: התקופה הנוכחית מוגדרת בטבלה בין יולי 2017 ליוני 2018. היא מושווית לתקופה הקודמת שהוגדרה מינואר 2017 ועד סוף דצמבר 2017. כלומר: קיימת תקופה חופפת (יולי 2017- סוף דצמבר 2017) בתוך שתי התקופות.
לשאלתנו מדוע, והאם זה לא משפיע על נתוני המדגם, נענינו: “כך עובד ה-TGI בעולם, עם תקופה חופפת על מנת לקבל מדגם גדול יותר ולהקטין את השונות”.
ברור שחפיפת תקופה תגדיל את המדגם ותקטין את השונות, בעיקר כשמדובר במדגמים קטנים יחסית (כאמור, 282 נסקרים בלבד). לנו נשאר לדמיין מהו גודל המדגם ללא חפיפת העונה, ובהתאם לכך גודל השגיאה המרבית. עם זאת, לגבי השאלה האם החפיפה מעוותת את ממצאי הסקר – לא קיבלנו התייחסות מקנטאר מדיה.
לאור זאת, נאלצנו להיעזר בחברים וידידים העוסקים בתחום. המומחים אינם ממהרים לפסול את השיטה, אך הם משתמשים בזהירות במילים: “המדגם אינו בר השוואה”. בנוסף לסיבה של עונה משותפת בשתי התקופות, הם גם מצביעים על שילוב של שתי שיטות דגימה כבעייתית לעניין זה.
מסקנות
אם אתם מעוניינים להשתמש בסקר TGI כדי לבחון מאפייני צריכה שונים, ביניהם גם צריכת מדיה – זו מטרה אחרת לגמרי ואותה לא בדקנו.
אם אתם רוצים לבחון איזה מבין העיתונים הוא מוביל, מול חבריו/מתחריו, שימו לב לסטיות אפשריות בגלל הדגימה האינטרנטית, וכן לעובדה שטווח השגיאה הסטטיסטית יחTGIסית גדול, כי המדגם קטן.
ואם אתם רוצים ליצור השוואה בין שנים קודמות לשנים אלה, לראות מי עלה ומי ירד, לבחון האם הפרינט בסכנת הכחדה או שלא – סקר TGI לא יעזור לכם. גם בלי להיכנס לשאלה האם המדגמים הם ברי השוואה או שלא, הפערים בין השנים כלל אינם מובהקים.
הכותבת היא יועצת מחקר ואסטרטגיה במגזר החרדי
