نمونهی بد!
پیش از آنکه بپرسیم «چقدر؟»، بپرسیم «دربارهی چه کسانی؟»
«چگونه با آمار دروغ بگوییم؟» یا How to Lie with Statistics کتابی قدیمی، کوتاه و همچنان خواندنی است. دارل هاف این کتاب را در سال ۱۹۵۴ برای خوانندهی عمومی نوشت و در ده فصل کوتاه، بعضی از خطاهای رایج در جمعآوری دادهها و تفسیر آنها را توضیح داد.
جلد چاپ نخست کتاب، ۱۹۵۴؛ طرحها از ایروینگ گایس.
عنوان کتاب ممکن است این تصور را بسازد که با راهنمای فریبدادن دیگران روبهرو هستیم. کتاب در عمل راهنمای دفاع از خود در برابر عددهای فریبنده است. هاف نشان میدهد که برای دروغگفتن با آمار همیشه لازم نیست عددی را جعل کنیم. گاهی کافی است گروه مناسبی را بشماریم، میانگین مناسبی را انتخاب کنیم یا محور نمودار را کمی بکشیم — و بعد بخشی از واقعیت را بهجای تمام آن بنشانیم.
بعضی از مثالهای کتاب به مجلهها و تبلیغات آمریکای میانههای قرن بیستم مربوطاند، اما سازوکار خطاها چندان تغییر نکرده است. هنوز نظرسنجی برگزار میکنیم، میانگین میگیریم و از چند هزار نفر دربارهی چند میلیون نفر نتیجه میگیریم. ابزارها تازه شدهاند، اما پرسش اصلی همان است:
این عدد دقیقاً دربارهی چه کسانی است؟
این برگه سراغ فصل نخست کتاب میرود: The Sample with the Built-in Bias؛ نمونهای که سوگیری از ابتدا در آن ساخته شده است.
دانشگاه خوب، کلید موفقیت؟
مجلهی Time زمانی به نقل از روزنامهی New York Sun نوشت که یک فارغالتحصیل مرد از کلاس ۱۹۲۴ دانشگاه Yale بهطور میانگین سالانه ۲۵٬۱۱۱ دلار درآمد دارد. با درنظرگرفتن تورم، این مبلغ تقریباً معادل ۳۵۰ هزار دلار در سال ۲۰۲۶ است.۱ خوشا به حالشان!
پیش از ادامه، حدس بزنید. فرض کنید کار شما این است که به این خبر شک کنید. دستِکم دو جای این گزارش میلنگد — یکی در ظاهرِ خودِ عدد و یکی در راهی که عدد از آن به دست آمده است. چه چیزهایی به ذهنتان میرسد؟
دو چیز در نگاه اول مشکوک به نظر میرسد. نخست اینکه میانگین درآمد بهطرز شگفتآوری دقیق است: ۲۵٬۱۱۱ دلار، نه «حدود ۲۵ هزار دلار». دوم اینکه عدد بهطور نامحتملی بالاست.
درآمد یک گروه پراکنده را پس از حدود ۲۵ سال چگونه با دقت یک دلار حساب کردهاند؟ حتی بسیاری از ما درآمد خودمان را در یک سال با چنین دقتی نمیدانیم؛ بهویژه اگر درآمدمان فقط از حقوق ثابت نیاید و سرمایهگذاری یا منبع دیگری هم داشته باشیم.
این میانگین به احتمال زیاد از عددهایی به دست آمده که خود فارغالتحصیلان بهعنوان درآمدشان اعلام کردهاند. آیا همه راست گفتهاند؟ شاید بعضیها بهدلیل غرور یا خوشبینی درآمدشان را بیشتر گفته باشند. بعضی دیگر شاید از ترس مالیات یا بهدلیل ملاحظات شخصی عدد کمتری اعلام کرده باشند. ممکن است خطاهای این دو گروه یکدیگر را خنثی کرده باشند، اما دلیلی نداریم که چنین اتفاقی افتاده باشد.
بااینحال، مسئلهی بزرگتر جای دیگری است: چه کسانی اصلاً در محاسبه حضور داشتهاند؟
پس از ۲۵ سال، پیدا کردن نشانی همهی فارغالتحصیلان آسان نبوده است. از میان کسانی هم که نشانیشان پیدا شده، همه به پرسشنامه پاسخ ندادهاند. بنابراین میانگین نهایی نه از تمام اعضای کلاس، بلکه از کسانی آمده که:
- دانشگاه توانسته آنها را پیدا کند؛
- پرسشنامه را دریافت کردهاند؛
- و حاضر شدهاند درآمدشان را اعلام کنند.
این گروه لزوماً شبیه کل کلاس نیست. هاف این نکته را با تصویر زیبایی توضیح میدهد. گمشدههای فهرست Yale که نشانیشان نامعلوم است چه کسانیاند؟ مردان والاستریت، مدیران شرکتها و صاحبان صنایع بزرگ؟ بعید است. نشانی ثروتمندان را حتی اگر با دانشگاه در ارتباط نمانده باشند، میتوان در کتابهای مرجع و فهرست چهرههای سرشناس پیدا کرد.
کسانی که از فهرست جا ماندهاند احتمالاً فارغالتحصیلانیاند که پس از ۲۵ سال به موفقیت درخشانی نرسیدهاند: کارمندها، مکانیکها، بیکاران، بیخانمانها و نویسندگان و هنرمندانی که بهسختی زندگی میکنند؛ کسانی که شاید حتی هزینهی سفر برای شرکت در گردهمایی فارغالتحصیلان را نداشته باشند. از طرف دیگر، میان کسانی هم که پرسشنامه به دستشان رسیده، افرادی که درآمدشان مایهی مباهات نیست کمتر حاضر میشوند آن را اعلام کنند.
به بیان هاف، این نمونه دقیقاً دو گروهی را از دست داده که حضورشان میانگین را پایین میآورد: کسانی که نمیتوان پیدایشان کرد و کسانی که پاسخ نمیدهند.
نمیدانیم درآمد واقعی فارغالتحصیلان چقدر بوده است. برای دیدن ایراد این آمار هم لازم نیست مقدار واقعی را بدانیم. کافی است ببینیم راه ورود آدمها به نمونه، بعضی را بیشتر از دیگران به درون آن هدایت کرده است.
یک قاشق از کجای دیگ؟
بیشتر نتایج آماری که در اطرافمان میبینیم از یک نمونه به دست آمدهاند. جمعآوری داده از تمام اعضای یک جامعه معمولاً دشوار و پرهزینه است. پس گروه کوچکتری را بررسی میکنیم و نتیجه را به جامعهی بزرگتر تعمیم میدهیم. از قدیم هم گفتهاند مشت نمونهی خروار است.
نمونهگیری بر یک شهود ساده استوار است: برای چشیدن آش لازم نیست تمام دیگ را بخوریم؛ یک قاشق کافی است. اما آن قاشق تنها وقتی مزهی کل آش را نشان میدهد که محتویات دیگ خوب مخلوط شده باشد و قاشق را از جای مناسبی برداشته باشیم. قاشقی از روی دیگ ممکن است بیشتر روغن باشد و قاشقی از ته آن بیشتر حبوبات.
در آمار، کل دیگ را جامعه و آن یک قاشق را نمونه مینامیم. نمونهی خوب قرار است تصویری کوچکتر، اما شبیه به جامعه باشد. به چنین نمونهای «نمونهی نماینده» یا Representative Sample میگوییم.
بزرگی نمونه مهم است، اما شیوهی انتخاب آن مهمتر است. اگر همیشه قاشقمان را از روی دیگ برداریم، بزرگترکردن قاشق مشکل را حل نمیکند. به همین دلیل یک پیمایش کوچک با نمونهگیری سنجیده گاهی از یک نظرسنجی اینترنتی با دهها هزار پاسخدهنده تصویر دقیقتری میدهد.
ده میلیون پرسشنامه و یک جواب اشتباه
هاف برای نشاندادن اهمیت این نکته به نظرسنجی مشهور مجلهی Literary Digest در انتخابات ریاستجمهوری سال ۱۹۳۶ آمریکا اشاره میکند. مجله برای حدود ده میلیون نفر پرسشنامه فرستاد و از نتیجهی پاسخها پیشبینی کرد که آلف لندون، نامزد جمهوریخواهان، فرانکلین روزولت را شکست خواهد داد. نتیجهی واقعی تقریباً وارونهی این پیشبینی بود و روزولت با اختلافی بزرگ پیروز شد.۲
فرستادن ده میلیون پرسشنامه و دریافت میلیونها پاسخ، در نگاهِ اول بسیار قانعکننده است. مشکل این بود که مجله نامها را بیشتر از میان مشترکان خود و دارندگان تلفن پیدا کرده بود. در آمریکای سال ۱۹۳۶ — میانهی رکود بزرگ — داشتن اشتراک مجله و تلفن با درآمد ارتباط داشت. بنابراین ثروتمندان بیش از دیگران امکان ورود به نمونه را داشتند و این گروه نیز بیشتر به جمهوریخواهان رأی میداد.
اگر نمونه از ابتدا به یک سمت کج باشد، افزودن افراد بیشتر فقط نتیجهی نادرست را با اطمینان و دقت بیشتری تولید میکند. یک قاشق بزرگتر از روی دیگ، همچنان مزهی روی دیگ را میدهد.
هاف یک مثال کوتاهتر هم میآورد. روانپزشکی گفته بود تقریباً همهی مردم بهنوعی گرفتار مشکل روانیاند. اما او این نتیجه را از مشاهدهی بیماران خودش گرفته بود؛ یعنی کسانی که دقیقاً بهدلیل داشتن مشکلی به روانپزشک مراجعه کرده بودند. اگر کسی کاملاً سالم بود، احتمالاً این روانپزشک هرگز او را نمیدید.
تا اینجا نکتهی فصل روشن است: نمونهای که افراد موفق را آسانتر پیدا میکند، درآمد فارغالتحصیلان را بیش از واقع نشان میدهد؛ نمونهای که از دارندگان تلفن ساخته شده، جامعه را ثروتمندتر از واقع میبیند؛ و کسی که فقط بیمارانش را میبیند، ممکن است همهی مردم را بیمار تصور کند.
سوگیری خودگزینی
برای دیدن همین خطا لازم نیست تا ۱۹۳۶ عقب برویم. پیشترها که برنامههای تلویزیون و انتخابات را دنبال میکردم، فصلِ انتخابات که میشد پای نظرسنجیهای پیامکی هم به آنتن باز میشد: برنامهای از بینندگانش میپرسید «به کدام نامزد رأی میدهید؟ پیامک بزنید» و فردا نتیجه را — گاهی با دو رقم اعشار — اعلام میکرد.
این عدد از چه کسانی آمده است؟ از کسانی که:
- آن شب، آن ساعت، پای آن برنامه بودهاند؛
- آنقدر پیگیر انتخابات بودهاند که موضوع برایشان مهم باشد؛
- و آنقدر دوآتشه که زحمت بکشند و هزینهی پیامک بدهند.
آدمِ مردد که هنوز تصمیم نگرفته، آدمِ بیتفاوت، و کسی که اصلاً تلویزیون تماشا نمیکند، هیچکدام در این نمونه جایی ندارند — و چه بسا سرنوشت انتخابات دست همین گروههای ساکت باشد.
به نمونهای که اینطور خودش را از میان داوطلبها میسازد، نمونهی خودگزیده میگویند — و به خطایش، سوگیری خودگزینی (Self-selection Bias).
آیا کسی دروغ گفته است؟
در هیچکدام از این مثالها لازم نیست کسی عددی را از خودش ساخته باشد.
میانگین ۲۵٬۱۱۱ دلاری Yale ممکن است از پاسخهای واقعی و با جمع و تقسیم درست به دست آمده باشد. مجلهی Literary Digest هم واقعاً میلیونها پاسخنامهی واقعی را شمرده بود؛ روانپزشکِ ما بیمارانش را درست دیده بود؛ و شمار پیامکها را هم لابد کسی درست جمع زده است.
فریب از جایی آغاز میشود که فراموش کنیم هر عدد دقیقاً چه چیزی را شمرده است — و در ذهنمان پاسخدهندگان را به همهی فارغالتحصیلان، دارندگان تلفن را به همهی رأیدهندگان، یا بیمارانِ یک مطب را به همهی مردم تبدیل کنیم.
بار بعد که با یک عدد اجتماعی روبهرو شدیم، پیش از پرسیدن «عدد چقدر است؟» میتوانیم چند پرسش سادهتر بپرسیم:
- جامعهای که میخواهیم دربارهاش حرف بزنیم دقیقاً چیست؟
- افراد نمونه چگونه پیدا و انتخاب شدهاند؟
- چه کسی از ابتدا امکان ورود به نمونه را نداشته است؟ و چه کسی میتوانست وارد شود، اما پاسخی نداد؟
- منتشرکنندهی عدد از بزرگتر یا کوچکتر دیدهشدن آن چه سودی میبرد؟
نمونهی سوگیر همیشه واقعیت را وارونه نمیکند. گاهی فقط بخشی از واقعیت را روشن و باقی آن را تاریک نگه میدارد — و آنچه در تاریکی میماند، معمولاً همان چیزی است که تصویر را عوض میکرد.
تمرینها
تمرین ۱ — تثبیتِ ایده. یک وبسایت خبری از خوانندگانش نظرسنجی اینترنتی میگیرد: «آیا به اخبار تلویزیون اعتماد دارید؟» هشتاد هزار نفر شرکت میکنند و ۹۰ درصدشان میگویند «نه». آیا میتوان نتیجه گرفت که ۹۰ درصد مردم به اخبار تلویزیون اعتماد ندارند؟
راهنمای کوچک
قاشق از کجای دیگ برداشته شده است؟ چه کسی اصلاً این نظرسنجی را میبیند؟
پاسخ
جامعهای که ادعا دربارهی آن است «مردم»اند؛ جامعهای که واقعاً شمرده شده، «خوانندگان این وبسایت که در نظرسنجی شرکت کردند» — کسانی که خبرشان را از اینترنت میگیرند، نه تلویزیون. کسی که خبرش را هر شب از تلویزیون میگیرد، احتمالاً کمتر پای سایتهای خبری اینترنتی است و از ابتدا شانس کمتری برای ورود به این نمونه داشته — درست مثل کسی که در آمریکای ۱۹۳۶ تلفن نداشت. عدد ۹۰ درصد شاید دربارهی خوانندگان همان سایت راست بگوید؛ اما دربارهی «مردم»، فقط یک قاشق بزرگ از روی دیگ است.
تمرین ۲ — دیدنِ سازوکار. رستورانی روی میزهایش برگهی نظرسنجی گذاشته است. ۹۵ درصد برگههای پرشده میگویند «عالی بود» و صاحب رستوران نتیجه میگیرد تقریباً همهی مشتریها راضیاند. دستِکم دو صافی پیدا کنید که این نمونه را از ابتدا کج کردهاند.
راهنمای کوچک
به دو لحظهی متفاوت فکر کنید: چه کسی اصلاً پشت میز نشسته است؟ و از میان نشستهها، چه کسی برگه را پر میکند؟
پاسخ
صافی اول پیش از در ورودی است: کسی که تجربهی بدی داشته، دیگر برنگشته؛ پس جمعیت پشت میزها از همان ابتدا به سود راضیها کج است. صافی دوم روی میز است: از میان نشستهها هم فقط بعضی زحمت پرکردن برگه را میکشند و هیچ تضمینی نیست که این بعضی، نمایندهی بقیه باشند. این وارونهی همان روانپزشکِ هاف است: او فقط مراجعانش را میدید و نتیجه گرفت همه بیمارند؛ رستوران بیشتر راضیها را میبیند و نتیجه میگیرد همه راضیاند.
تمرین ۳ — انتقال به میدانی تازه؛ پیشرفته. ماجرایی مشهور — و البته کمی صیقلخورده در بازگوییها — از جنگ جهانی دوم: نیروی هوایی آمریکا میخواست بمبافکنهایش را زرهپوشتر کند، اما زره سنگین است و همهجای هواپیما را نمیشود پوشاند. مهندسان هواپیماهای بازگشته از عملیات را بررسی کردند و دیدند بیشترین سوراخهای گلوله روی بالها و بدنه است، نه روی موتور. نتیجهی طبیعی: زره را همانجا بگذاریم که بیشتر گلوله میخورد. آماردانی به نام آبراهام والد۳ گفت: برعکس، زره را جایی بگذارید که روی این هواپیماها سوراخی نمیبینید. چرا؟
راهنمای کوچک
نمونهی این بررسی دقیقاً چه هواپیماهایی بودند؟ چه هواپیمایی هرگز وارد نمونه نشد؟
پاسخ
فقط هواپیماهایی بررسی شدند که برگشتند؛ هواپیمایی که به موتورش گلوله خورد، معمولاً برنگشت تا کسی سوراخهایش را بشمارد. پس سوراخهای روی بازگشتهها نقشهی جاهایی است که میشود گلوله خورد و زنده ماند. تیرهای ضدهوایی جای خاصی از هواپیما را نشانه نمیگیرند؛ اگر روی بازگشتهها جایی — مثل موتور — سوراخ ندارد، لابد هواپیماهایی که آنجا گلوله خوردهاند برنگشتهاند. زره باید به همان جاهای «تمیز» برود. این خطا امروز نامی هم دارد: سوگیری بازماندگان (Survivorship Bias). و همان نمونهی بدِ این برگه است در لباس نظامی: فهرستِ ما فقط بازگشتگان را داشت، همانطور که فهرست Yale فقط پیداشدگان و پاسخدهندگان را.
این خطاها نام دارند
خطاهایی که در این برگه دیدیم، در کتابهای امروزی نامهای رسمی دارند. حفظکردنشان لازم نیست؛ اما نام، چراغی است که وقتی خطا را جایی دیدیم، بتوانیم صدایش کنیم.
سوگیری انتخاب — Selection Bias
راهِ ورود به نمونه، بعضیها را آسانتر از بقیه عبور میدهد. فهرستِ ناقصِ Yale و مشترکانِ Literary Digest هر دو همین بودند: پیش از آنکه کسی سؤالی بپرسد، ترکیبِ نمونه تعیین شده بود.
مدرسهای را در نظر بگیرید که در آزمون ورودی فقط قویترینها را میپذیرد و هر سال اعلام میکند «همهی فارغالتحصیلان ما در دانشگاههای خوب قبول شدند». این عدد بیش از کیفیتِ آموزش مدرسه، کیفیتِ آزمون ورودیاش را نشان میدهد؛ چه بسا این دانشآموزان در هر مدرسهی دیگری هم قبول میشدند. برای سنجیدن خودِ مدرسه باید پرسید: با دانشآموزِ متوسط چه میکند؟
سوگیری خودگزینی — Self-selection Bias
گاهی کسی نمونه را انتخاب نمیکند؛ نمونه خودش را انتخاب میکند. هر جا شرکتکردن داوطلبانه باشد — نظرسنجی پیامکی، رأیگیری اینترنتی — کسانی میآیند که انگیزه دارند؛ و انگیزه معمولاً با خودِ جواب گره خورده است.
به امتیاز کالاها در فروشگاههای اینترنتی نگاه کنید: چه کسی دیدگاه مینویسد؟ بیشتر، کسی که یا شیفته شده یا شاکی است. جمعیتِ بزرگِ «بد نبود»ها معمولاً چیزی نمینویسند؛ برای همین ستارهها اغلب یا پنجاند یا یک. میانگینی که میبینید، میانگینِ صداهای بلند است، نه میانگینِ خریداران.
سوگیری بیپاسخی — Non-response Bias
حتی وقتی نمونه را درست انتخاب کرده باشیم، نمیتوانیم کسی را به پاسخدادن وادار کنیم؛ و اگر بیپاسخها شبیه پاسخدهندگان نباشند — که معمولاً نیستند — غیبتشان نتیجه را کج میکند. گمشدگان و ساکتانِ فهرست Yale همینها بودند.
معلمی را تصور کنید که آخرِ درس میپرسد «کسی سؤالی ندارد؟» و سکوت کلاس را نشانهی فهمیدن میگیرد. اما چه کسی در جمع سؤال میپرسد؟ اغلب کسی که آنقدر فهمیده که بداند کجا را نفهمیده. گیجترین دانشآموز معمولاً ساکتترین است؛ سکوتش «فهمیدم» نیست، «نمیدانم از کجا بپرسم» است.
سوگیری پاسخ — Response Bias
گاهی همه پاسخ میدهند، اما پاسخها راست نیستند: غرور، ترس، رودربایستی یا میلِ به خوب دیدهشدن، جواب را از واقعیت دور میکند. درآمدهای اعلامشدهی فارغالتحصیلان Yale از همین جنس بود.
هاف مثالی از نظرسنجیهای زمان خودش میآورد: از مردم پرسیدند چه مجلههایی میخوانند، و پاسخها نشان میداد مجلههای وزین پرخوانندهاند و مجلههای زرد بیرونق. اما آمار فروش دقیقاً وارونه میگفت. مردم دروغگو نبودند؛ خودشان را کمی آنطور که دوست داشتند باشند، گزارش میکردند. درسِ عملیاش: اگر میخواهید بدانید مردم چه میکنند، به کاری که میکنند نگاه کنید، نه به آنچه دربارهی خودشان میگویند.
سوگیری بازماندگان — Survivorship Bias
با آن در تمرین ۳ روبهرو شدید: فقط کسانی در نمونهاند که تا امروز دوام آوردهاند؛ حذفشدگان نه دیده میشوند و نه شمرده.
«قدیمها چه محکم خانه میساختند!» — واقعاً؟ خانههای سستِ قدیمی مدتهاست فرو ریختهاند و آنچه از گذشته سر پا مانده، بهناچار محکمترینهاست. مقایسهی خانههای صدساله با نوسازها، مقایسهی بازماندگانِ یک قرن غربال با همهی ساختههای امسال است. همین الگو را در «موسیقی قدیم بهتر بود» هم میشود دید.
نامها را که کنار بگذاریم، همهی اینها جوابهای متفاوتِ همان یک پرسشاند: این عدد دقیقاً دربارهی چه کسانی است؟
اکنون باید بتوانید…
- تفاوت جامعه و نمونه را با مثالی از خودتان توضیح دهید و بگویید «نمونهی نماینده» یعنی چه.
- توضیح دهید چرا میانگین ۲۵٬۱۱۱ دلاری Yale، بیآنکه کسی عددی جعل کرده باشد، به احتمال زیاد از واقعیت بالاتر است.
- با ماجرای Literary Digest برای کسی روشن کنید که چرا بزرگترکردن یک نمونهی کج، خطا را کم نمیکند.
- پنج سوگیری نامدار این برگه — انتخاب، خودگزینی، بیپاسخی، پاسخ و بازماندگان — را با مثالی از زندگی روزمره توضیح دهید.
- و برای هر عدد اجتماعی تازهای که به شما میرسد، پیش از باور یا انکار، پرسشهای چهارگانهی این برگه را بپرسید — بهویژه: چه کسی از اول امکان شمردهشدن نداشت؟