מדוע סקרי בחירות מפספסים את תוצאות האמת?

זה קרה גם אצלם... הסקרים פספסו את תוצאות הבחירות בארה"ב. ומכל עבר נשמעת ביקורת כלפי הסקר וספקות ביחס לשימוש בו ככלי לניבוי תוצאות של בחירות. ביקורת זו, בחלקה נכונה, אולם בעיקר מעידה על אי הכרת המתודולוגיה, מגבלותיה והאופנים בהם נכון להשתמש בה. 

כדי להבין מדוע סקרים אינם מצליחים לשקף באופן מוחלט את המציאות החברתית צריך להבין את האתגרים המתודולוגיים המהווים חלק אינהרנטי מכל סקר, באשר הוא. ובמיוחד יש להבין ולהפנים את תופעת הסרוב בסקרים.

הסרוב להשתתף בסקר מהווה את אחת הבעיות המטרידות ביותר הקשורות לביצוע סקרים בעת הנוכחית, ותופעה זו לא רק שהולכת ומחמירה כל העת אלא שהיא מתרחשת ברמה חובקת עולם ותחומי המחקר.

העליה בשעורי הסרוב בסקרים מיוחסת לשינויים ארוכי טווח ברמת המקרו: שינויים דמוגרפיים בחברה, ירידה בהשתתפות חברתית באופן כללי, עליה בניכור וירידה בנורמות חברתיות של מחוייבות אזרחית ושינויים שחלו בסקרים עצמם במהלך העשורים האחרונים.

סרובם של אנשים להשתתף בסקרים אינו תוצאה של תהליך אקראי. לכן, גם כאשר המדגם בסקר מייצג את האוכלוסייה הנחקרת, המרואיינים בפועל אינם מייצגים בהכרח את המדגם. במצב זה, ממצאי הסקר אינם מתארים את האוכלוסיה הנחקרת והמסקנות העולות ממנו הנן מוטות ומטעות. אולם, אין משמעות הדבר שלא ניתן להשתמש בסקרים ככלי לתאור המציאות. בידי הסוקר מצויים כלים מתודולוגים וסטטיסטיים המאפשרים לו להפחית (אף פעם לא להעלים לגמרי) את הטיית הסרוב באומדנים.

טעות הסקר הכוללת

במהלך המאה ה-20 תפס הסקר הכמותי את מקומו כאחת המתודות השכיחות ביותר לחקר המציאות החברתית.   אחת הסיבות לשימוש הנפוץ כל כך בכלי מחקר זה, היא העובדה שסקרים המבוססים על מדגמים הסתברותיים מאפשרים לאמוד תופעות חברתיות, וזאת על ידי השגת מידע מחלק קטן בלבד של האוכלוסיה. אולם, על מנת להכליל את התוצאות שהתקבלו עבור המדגם לאוכלוסיה כולה, יש למזער את טעות הסקר הכוללת (Total Survey Error), המבטאת את חוסר ההתאמה בין התכונה הנמדדת של האוכלוסיה והאומדן שחושב במדגם הסקר. סקר מהימן ותקף, כזה המתאר את המציאות באופן מוחלט וללא הטיות, דורש שיתקיימו שני תנאים: תשובות המרואיינים חייבות לתאר במדוייק את עמדותיהם; והמרואיינים בסקר חייבים להיות בעלי מאפיינים הדומים למאפיינים באוכלוסיה. כאשר אחד לפחות משני תנאים אלה לא מתממש, הסטטיסטים בסקר נתונים לטעות.

נהוג לחלק את טעות הסקר הכוללת לארבע טעויות פוטנציאליות: דגימה, כיסוי, מדידה ואי תשובה. בסקר שנתוניו מהימנים ותקפים, לכל הפרטים באוכלוסיה יש הסתברות ידועה וקבועה להכלל במדגם, הפרטים נדגמים בשיטות רנדומליות ובמספר גדול מספיק על מנת לאפשר רמת דיוק רצויה, השאלון מנוסח ומעוצב באופן אשר גורם לכך שאנשים יספקו מידע מדויק וכל הפרטים אשר נכללו במדגם משיבים על הסקר במלואו. עקרונות אלה מהווים סטנדרט אידיאלי להערכת איכות הסקר, אם כי – ואת זה חשוב לזכור, רק לעתים רחוקות, אם בכלל,  ניתן לממשו במלואו. כאשר מדובר על סקר עמדות המבוצע בקרב פרטים וקבוצות חברתיות, במציאות חיים שהנה דינמית ומורכבת, ולא בתנאי מעבדה – קשה עד בלתי אפשרי לבצע סקר חף מהטיות. טעות אי התשובה הנובעת מסרוב הנה מחוץ לשליטת החוקר ונתונה כליל למאפיינים האישיים של הפרט ולמיקומו החברתי. לכן, מבין כל הטעויות המגדירות את טעות הסקר הכוללת, סרובם של אנשים במדגם להשתתף בסקר, מהווה את אחד האתגרים הגדולים ביותר עבור מתודולוגים של סקרים.

הטיית הסרוב

תופעת הסרוב בסקרים מתבטאת בכך שחלק מהאנשים שנבחרו למדגם מסרבים להשתתף בסקר. הטעות הנגרמת עקב סרוב להשתתף בסקר, מוגדרת כהטיה של סטטיסטי המרואיינים (שהשיבו בפועל על הסקר) מהסטטיסטי של המדגם הכולל (מרואיינים ובלתי מרואיינים), והיא מהווה פונקציה של שני גורמים – שעור אי התשובה וההבדלים בין המרואיינים והבלתי מרואיינים בסקר.

Bias (yr) = (m/n) (yr-ym)

ההשפעה של הסרוב מתבטלת (תאורטית) רק כאשר מתקיים לפחות אחד משני התנאים הבאים: שעור הסרוב הוא 0 (לאמור, אין מסרבים); או - הפער בין המרואיינים והמסרבים הוא 0 (לאמור, אין הבדל בין המרואיינים והמסרבים בסטטיטסי הנחקר). ככל שקבוצת המסרבים במדגם גדולה יותר, כך ההטיה בסטטיסטי המרואיינים בפועל גדולה יותר, כאשר יתר התנאים קבועים. באופן דומה, ככל שהמסרבים נבדלים מהמרואיינים, כך גדלה ההטייה בסטטיסטי המרואיינים.

התמודדות עם הטיית הסרוב

הפחתת טעות הסקר הנובעת מהסרוב, מבוססת בראש ובראשונה על יישום פרקטיקות שנועדו להגדיל את ההסתברות שהפרט במדגם ישיב על הסקר והן מיושמות לפני ההתקשרות עם הפרט במדגם, במהלך ההתקשרות עמו ולאחר שהסתיים שלב איסוף הנתונים.

אולם כאמור, גודל הטעות שיוצר הסרוב בסקר קשור לא רק לשעור המסרבים במדגם אלא גם (ובעיקר) להבדל בין המרואיינים והמסרבים במשתנים הנחקרים. לכן, גם במידה והפרקטיקות המתודולוגיות מצליחות להפחית בצורה משמעותית את שעור הסרוב, הרי שנותרת בעינה בעיית הפער בין עמדות המרואיינים בפועל והמסרבים. אי לכך, התמודדות יעילה עם הסרוב דורשת הפחתה במספר המסרבים, בד בבד עם הפחתת השפעתם של ההבדלים בין המרואיינים והמסרבים על אומדני הסקר . מהלך זה מבוצע באמצעות יישום התאמות סטטיסטיות לאחר שהסתיים שלב איסוף הנתונים במחקר.
הגישה הנהוגה לביצוע התאמות באומדנים, היא גישת השקלול הסטטיסטי. גישה זו מבוססת על הגדרתן של קבוצות מרואיינים שנחשבים לדומים למסרבים בפרמטרים ידועים באוכלוסיה (בדרך כלל מאפיינים סוציודמוגרפיים). קבוצת השקלול, שהיא קבוצת המרואיינים בפועל הדומה תאורטית במאפייניה לקבוצת המסרבים המוחלטים, מקבלת משקל רב יותר בחישוב אומדני הסקר מאשר מרואיינים אחרים בסקר, וזאת כדי לפצות על העדר המסרבים המוחלטים במדגם הסופי.

ההתמודדות עם טעות הסקר הנובעת מסרוב (בין אם באמצעות העלאת שעורי ההענות ובין אם באמצעות שקלולים סטטיסטיים) מבוססת על מודלים תאורטיים, המתארים את הגורמים הקשורים להחלטה לסרב בסקר והמסביר את הסיבות לסרוב. כאשר סכמות השקלול אינן מצליחות להגדיר נכונה מי הם המסרבים, תיקון הטיית הסרוב הוא חלקי בלבד.

תחום המחקר העוסק במאפייני הפרט וסביבתו הקשורים לסרוב בסקרים נחקר רבות במהלך העשורים האחרונים והוא מקיף מספר רב של עבודות ומחקרים. אני עצמי חקרתי באופן נרחב את תופעת הסרוב בסקרים. בעבודת הדוקטורט שלי (אוניברסיטת תל אביב) בניתי מודל תאורטי של סרוב בסקרים. הנחת המוצא התאורטית שעמדה בבסיסו של מודל זה הנה, שהפרטים במדגם נוטים לסרב בסקרים כפונקציה של מיקומם החברתי וסגנון חייהם, מאפייני סביבתם החברתית והתרבותית ומאפייני הסקר (נושא הסקר, גוף המחקר ומתודת איסוף הנתונים).

אם נחזור לסקרי הבחירות שלא הצליחו לנבא את תוצאות האמת, ניתן להניח כי המדגמים שבנו טובי הסוקרים בארה"ב מהווים מדגמים סטטיסטיים מייצגים של אוכלוסיית המחקר, ולו שעור ההענות בהם היה 100%, הרי שהיו יכולים לנבא באופן מהימן יותר את תוצאות הבחירות (בטווח טעות הדגימה). אולם בפועל, סביר להניח שלא כל מי שעלה במדגם השיב על הסקר, וכך התקבלו אומדנים מוטים. סכמות השקלול בהן נעשה שימוש לתיקון הטיות הסרוב לא הצליחו לזהות באופן מוחלט את מאפייני המסרבים, ולכן לא עלה בידם של הסוקרים לשקף באופן מהימן את תוצאות הבחירות. אם כי, ישנם כמה סוקרים שכן הצליחו לעשות זאת...

לסיכום

הסקר מהווה את אחת המתודות היעילות לחקר המציאות החברתית, פוליטית, ארגונית ותרבותית שבה אנו חיים ופועלים. השימוש בסקרים מאפשר לבחון תופעות ומגמות חברתיות ולאמוד דפוסי התנהגות של קבוצות חברתיות וזאת על ידי השגת מידע מחלק קטן בלבד של האוכלוסיה. כדי לבצע סקר מהימן ותקף, על החוקר להיות מודע לטעויות המתודולוגיות, המהוות חלק בלתי נפרד מכל סקר באשר הוא, לדעת כיצד להפחית אותן למינימום ולזכור את מגבלות הכלי. חשוב להמשיך ולבצע סקרים, גם במערכות בחירות. הסקרים הם הדרך היחידה לאמוד הלך רוח ומצב רוח בקבוצות חברתיות. וזה בדיוק מה שסקרים נועדו לעשות – לאמוד ולחזות הלכי רוח ומגמות. אין ספק שהציפייה מהסקרים שידעו לנבא בשברי אחוזים ובאופן מושלם את המציאות החברתית המורכבת והדינמית גורמת גם לאכזבה הגדולה כאשר מגלים שלא כך הוא. אולם עדיין, הסקרים מהווים את הכלי היעיל ביותר להבנת המציאות בה אנו חיים ופועלים וניתן להמשיך לסמוך עליהם :)