סקרים חסרי משקל – סקוטלנד כדוגמא

הבחירות בסקוטלנד בשאלה אם להיפרד מבריטניה הגדולה ולהישאר סקוטלנד הקטנה, הסתיימו בתוצאה ברורה. במשך ימים אחדים לפני הבחירות, עצרו כל אמצעי התקשורת בארץ את הנשימה, חדלו לרגע לפחוד מדאע"ש וכולם שידרו את תוצאות הסקרים, שהצביעו על שוויון. לפעמים דיווחו על יתרון קל לפורשים ולפעמים על יתרון זעום לנשארים. אחרי שפורסמו התוצאות – 55% מהסקוטים מתנגדים להתנתקות – יכולנו לחזור ולפחוד מדאע"ש. ישבתי עם חבר, כלכלן, ובעת הרמת כוסית קפה לקראת השנה החדשה, שאלתי אותו על הסקרים. האיש, שסטטיסטיקה היא מקצועו השני, זרק כל מיני מונחים מקצועיים, שחלפו לי ליד האוזן, והתמקד במונח אחד חשוב: טעות דגימה. לדוגמה, אם טעות הדגימה היא 4%± ותוצאות הסקר הן 50%-50%, יש אפשרות שהתוצאה תהיה 54% או 46%. אם המדגם בן 500 איש, כמקובל, טעות הדגימה היא אפילו 5%± והטעות עלולה להיות גדולה יותר. האמת, לא שאלתי אותו בגלל התעניינותי בסקוטלנד. בריטניה האנטישמית אינה עומדת בראש מעייני. אותי מעניינים הסקרים בישראל. אלה, שמעוררים את סקרנותנו בכל ימות השנה ובמיוחד ערב בחירות. העתונים והטלוויזיה מראים לנו מי עלה ומי ירד ואין לנו דרך לבדוק את זה, אלא בתוצאות הבחירות.

היזהרו ממני. אני סקוטי...

היזהרו ממני. אני סקוטי…

אז קבלתי ממנו הסבר, שטעות של חמישה אחוזים היא סבירה לחלוטין לסטטיסטיקאים. היא לא כל כך סבירה לציבור הרחב ולי. בהרצאה שנשא חתן פרס נובל, פרופ' ישראל אומן, במאי 2006 הוא גילה עוד טפח מתעשיית הסקרים והטפח הזה לא כל כך סימפטי.
פרופ' אומן כיהן בוועדה ממשלתית כלשהי והיו"ר החליט לערוך סקר דעת קהל. נערך מכרז בין מכוני סקרים וכמה סוקרים ידועים הופיעו בפני הוועדה ושאלו מהן התוצאות הרצויות, כדי שיכינו את שאלות הסקר בהתאם… אני מקווה שהמצב השתנה, אבל סקפטי למדי. הבחירות הפנימיות במפלגת העבודה נערכו לפני זמן לא רב ובעקבות הסקרים, הצוות של ח"כ שלי יחימוביץ חזה לה הצלחה. היו"רית הסתובבה מלאת בטחון עד שבוז'י הרצוג לקח ממנה את המפלגה. הדוגמא הקלאסית היא כמובן, הבחירות של שנת 1996: כל הסוקרים חזו ניצחון לשמעון פרס. תוצאת האמת הייתה ניצחון של בנימין נתניהו בהפרש זעום. זכורה לטוב הופעתו של חיים יבין במבט: "מהפך!" טעות הדגימה הייתה גורם מהותי ביום הכיפור של הסוקרים. מסקנה שלי – סקר לא שקר, אבל לא כל כך אמין. שיר לילדה בת ארבע הביאה ספר וביקשה שאמא תקרא לה שיר. האם: "בשורות ארוכות זה סיפור. שיר זה בשורות קצרות". הילדה פותחת את עמוד התוכן של הספר, "אמא, קראי לי את השיר הזה"…

מודעות פרסומת
Trackbacks are closed, but you can post a comment.

תגובות

  • יאיר דקל  On 25 בספטמבר 2014 at 11:30

    עמנואל, תודה על התגובה המחכימה. אבל ממנה אני למד שגם סקר של 1200 איש משאיר פתח לטעות דגימה משמעותית במקרה של מירוץ צמוד. הדוגמאות שהבאתי היו בדיוק כאלה – מירוץ צמוד מאד.
    לדוד, אתה בוודאי צודק – הסוקרים מתקנים את התוצאות לפי ההיסטוריה הידועה. נראה לי שהתיקון יותר קרוב לניחוש מאשר למדע. אבל אני מצהיר שסטטיסטיקה איננה התחום המקצועי שלי.

    • דודי  On 29 בספטמבר 2014 at 15:44

      הנקודה היא שגם אם נניח שהמדגם גדול מאד, נאמר 100,000 איש, ושגיאת הדגימה לפיכך קטנה מאד, עדיין יש בעיות קשות, והן חמורות במיוחד כשמדובר במשאל-עם.

      בעיה ראשונה, מחלק מהאנשים שעלו במדגם לא תתקבל תשובה.

      חלק מהאנשים לא יהיו זמינים. חלק יסרבו לענות, חלק יאמרו שאינם יודעים מה יצביעו. איך אפשר לצפות מה יעשו ביום ההצבעה כל אותם אנשים? בהיעדר מידע היסטורי אפשר רק להניח שהם יתנהגו כמו אלה שכן ענו, אבל המציאות שונה.

      בעיה שנייה, חלק מהאנשים שעלו במדגם ונתנו תשובה מסוימת, לא יפעלו בקלפי כפי שאמרו.

      חלק מהאנשים ישנו את דעתם, חלק מהאנשים ישקרו ביודעין, חלק מהאנשים לא יגיעו לקלפי מסיבות שונות. גם כאן, בהיעדר מידע היסטורי לא נותר אלא להניח ששיעור השקרנים\מתחרטים\לא מגיעים לקלפי דומה בשני הצדדים.

      בבחירות, בעיקר כאשר מדובר במפלגה שכבר התמודדה, המידע ההיסטורי המתקבל מהשוואת סקרי עבר עם תוצאות עבר יכול מאד לעזור. למשל – וזו דוגמה אמיתית רואים באופן עקבי שש"ס מקבל בקלפי פי X יותר מבסקר, ומשקללים זאת, לכן הסקרים, שהמעיטו מאד בכוחה של ש"ס בתחילת דרכה, הצליחו לא רע לנבא את כוחה במערכות הבחירות האחרונות. זה עובד פחות טוב עם מפלגות חדשות, ועוד פחות טוב במשאלי עם חד-פעמיים.

  • דוד  On 25 בספטמבר 2014 at 9:20

    סקרי דעת קהל מצליחים לא רע לנבא תוצאות בחירות, כאשר יש לסוקרים היסטוריה ללמוד ממנה. למשל אצלנו הם למדו שהמפלגות החרדיות מקבלות בקלפי יותר מאשר בסקר (מפני שתומכיהן מצביעים בשיעור גבוה, ועונים לסקרים בשיעור נמוך). פילוח המנדטים החזוי נגזר לא רק מנתוני הסקר עצמו אלא גם מנתונים היסטוריים. כאשר אין היסטוריה, התחזית הרבה פחות מדוייקת וכך המצב במשאל העם.

  • עמנואל פדהצור  On 24 בספטמבר 2014 at 18:15

    "טעות הדגימה" גורמת לכך שסקר של 500 איש אינו נחשב למשמעותי ומקצוענים מעדיפים לסקור 1200 אנשים. במקרה זה טעות הדגימה היא +/- 3%. אבל זו לא הצרה היחידה של מדגמים. סוקר טוב יעשה בדיקת אמינות של נשאלים. "המהפך" של חיים יבין לא הפתיע את מי שבדקה אמינות ותיקנה את תוצאות הסקר בהתאם. לפעמים עולה טענה כי תוצאות סקרים גורמות לאנשים לשנות את דעתם. דוגמה מפורסמת: הארי טרומן הביס את דיואי בבחירות לנשיאות ארה"ב, למרות שהסקרים ניבאו לדיואי ניצחון גדול. התירוץ של הסוקרים היה שהבוחרים "ריחמו על טרומן" ושינו את דעתם כתוצאה מהסקרים… ואינני נכנס לעניין אמינות סוקרים ומזמיני סקרים…

    • דודי  On 29 בספטמבר 2014 at 15:46

      הבעיה בסקרים שניבאו ניצחון לדיואי היתה דגימה מוטה.

      הסוקרים פנו לאנשים שהופיעו ברשימות של מועדוני חברים, ואנשים אלה נטו להיות אמידים מהממוצע.

תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת / לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת / לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת / לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת / לשנות )

מתחבר ל-%s

%d בלוגרים אהבו את זה: