چگونه با آمار دروغ بگوییم؟ · برگهٔ ۳ از ۳

عددهای غایب!

عدد مهم گاهی همان عددی است که کنار تیتر نیامده است.

در برگه‌ی نخست پرسیدیم چه کسانی شمرده شده‌اند. دیدیم اگر راه ورود آدم‌ها به نمونه کج باشد، حتی یک نمونه‌ی بسیار بزرگ هم می‌تواند جواب نادرستی بدهد.

در برگه‌ی دوم فرض کردیم آدم‌های درستی را شمرده‌ایم و پرسیدیم داده‌ها چگونه در یک عدد خلاصه شده‌اند. دیدیم «متوسط» تا وقتی نام و کاربردش را ندانیم، هنوز نصف جمله است.

این بار یک قدم دیگر جلو می‌رویم. فرض کنیم نمونه درست انتخاب شده، داده‌ها دقیق ثبت شده‌اند و شاخصی هم که گزارش می‌شود، همان شاخصِ مناسبِ پرسش ماست و درست محاسبه شده است. آیا اکنون می‌توانیم به نتیجه اعتماد کنیم؟

هنوز نه. گاهی اشکال نه در عددی است که می‌بینیم، بلکه در عددهای کوچکی است که باید کنارش می‌بودند و نیستند: چند نفر بررسی شده‌اند؟ نتیجه چقدر نامطمئن است؟ چند آزمایش دیگر انجام شده و منتشر نشده‌اند؟ مخرج این درصد چیست؟ مقدار اولیه چقدر بوده است؟

فصل سوم کتاب دارل هاف، با عنوان The Little Figures That Are Not There، درباره‌ی همین غیبت‌های کوچک و پرهزینه است.

مسیر این برگه چنین است: ابتدا می‌بینیم نمونه‌ی کوچک چگونه به شانس میدان می‌دهد؛ سپس سراغ عددهای غایبِ پنهان‌تر می‌رویم — تعداد آزمون‌ها و آزمایش‌های منتشرنشده؛ و در پایان به مخرج‌ها و تعریف‌ها می‌رسیم: از خطر دوبرابری یک قرص تا نرخ بیکاری ۷٫۶ درصد.

---

۲۳ درصد پوسیدگی کم‌تر!

هاف فصل را با تبلیغ خمیردندانی فرضی آغاز می‌کند:

مصرف‌کنندگان خمیردندان دوکس، ۲۳ درصد پوسیدگی کم‌تری گزارش کرده‌اند.

عدد دقیق است و چشم را می‌گیرد. در ادامه می‌خوانیم که آزمایش را یک آزمایشگاه مستقل انجام داده و حساب‌ها را نیز یک حسابرس رسمی تأیید کرده است. چه چیز دیگری می‌خواهیم؟

پیش از ادامه، حدس بزنید. برای ارزیابی این ادعا کدام اطلاعات را کم داریم؟ دست‌کم سه پرسش بنویسید.

نخستین عدد غایب، اندازه‌ی نمونه است. اگر نوشته‌های ریز تبلیغ را بخوانیم، می‌فهمیم گروه آزمایش فقط دوازده نفر بوده است.

دوازده نفر واقعاً خمیردندان را استفاده کرده‌اند. تعداد پوسیدگی‌هایشان نیز ممکن است درست شمرده شده باشد. بااین‌حال، گروهی به این کوچکی به‌آسانی زیر تأثیر شانس قرار می‌گیرد. شاید این دوازده نفر در شش ماه دوم کم‌تر شیرینی خورده‌اند، بیش‌تر مسواک زده‌اند یا صرفاً برحسب تصادف پوسیدگی کم‌تری پیدا کرده‌اند.

اما عدد غایب مهم‌تری هم وجود دارد: این چندمین آزمایش شرکت بوده است؟

شرکت می‌تواند دوازده نفر را آزمایش کند. اگر نتیجه خوب نبود، آن را در کشو بگذارد و سراغ دوازده نفر بعدی برود. در یکی از گروه‌ها پوسیدگی بیش‌تر می‌شود، در دیگری تغییری نمی‌کند و گروهی هم برحسب شانس بهبود چشمگیری نشان می‌دهد. شرکت فقط همان گروه آخر را منتشر می‌کند:

آزمایش نشان داد: ۲۳ درصد پوسیدگی کم‌تر!

جمله لزوماً دروغ نیست؛ اما تمام آزمایش‌هایی که نتیجه‌ی جذابی نداشته‌اند از روایت حذف شده‌اند. عددی که باید کنار «۲۳ درصد» می‌آمد فقط ۱۲ نبود؛ تعداد تمام دفعاتی بود که شرکت تاس خود را ریخته بود.

---

سکه‌ای که ۸۰ درصد شیر می‌آید

هاف برای دیدن نقش شانس آزمایش ساده‌ای پیشنهاد می‌کند. سکه‌ای سالم را ده بار بیندازید. انتظار داریم تقریباً نیمی از پرتاب‌ها شیر باشد، اما بعید نیست هشت بار شیر و دو بار خط بیاید. اگر فقط همین ده پرتاب را گزارش کنیم، می‌توانیم با حروف درشت بنویسیم:

آزمایش علمی نشان داد سکه در ۸۰ درصد موارد شیر می‌آید.

محاسبه درست است: هشت تقسیم بر ده واقعاً ۸۰ درصد می‌شود. خطا از جایی آغاز می‌شود که نتیجه‌ی این ده پرتاب را ویژگی پایدار سکه بدانیم.

حالا همان سکه را هزار بار بیندازیم. هنوز ممکن است دقیقاً پانصد بار شیر نیاید، اما رسیدن به ۸۰۰ شیر بسیار نامحتمل می‌شود. هرچه تعداد پرتاب‌ها بیش‌تر باشد، بالا و پایین‌های تصادفی بیش‌تر یکدیگر را خنثی می‌کنند و سهم شیر به یک‌دوم نزدیک‌تر می‌شود.

سکه عوض نشده است؛ نمونه‌ی کوچک‌تر فقط مجال بیش‌تری به شانس می‌دهد.

اینجا باید میان دو مسئله‌ای که شبیه هم به نظر می‌رسند فرق بگذاریم:

1. نمونه‌ی کج: در برگه‌ی نخست دیدیم اگر قاشق را همیشه از روی دیگ برداریم، بزرگ‌ترکردن قاشق مشکل را حل نمی‌کند. نمونه‌ی بزرگ، سوگیری انتخاب را از بین نمی‌برد.
2. نمونه‌ی کوچک: اگر قاشق را واقعاً از جای مناسبی برداریم، اندازه‌ی آن اهمیت پیدا می‌کند. نمونه‌ی کوچک ممکن است فقط برحسب شانس نمک بیش‌تر یا نخود کم‌تری داشته باشد. نمونه‌ی بزرگ‌تر این نوسان تصادفی را کم می‌کند.

بزرگ‌بودن نمونه به‌تنهایی نشانه‌ی کیفیت نیست؛ اما وقتی شیوه‌ی نمونه‌گیری درست است، اندازه‌ی نمونه تعیین می‌کند برآورد ما چقدر بالا و پایین می‌رود.

---

هزار کودک هم ممکن است کافی نباشد

پس چند نفر کافی است؟ صد نفر؟ هزار نفر؟ یک درصد جامعه؟

جواب ثابتی وجود ندارد. تعداد لازم به این بستگی دارد که پدیده‌ی موردنظر چقدر نادر است، آدم‌ها چقدر با هم تفاوت دارند و می‌خواهیم چه اندازه تغییری را تشخیص دهیم.

هاف از آزمایشی برای واکسن فلج اطفال یاد می‌کند. در یک اجتماع ۴۵۰ کودک واکسینه شدند و ۶۸۰ کودک واکسینه‌نشده به‌عنوان گروه مقایسه باقی ماندند. مدتی بعد بیماری به منطقه رسید. هیچ‌یک از کودکان واکسینه‌شده فلج نشدند. از کودکان واکسینه‌نشده هم هیچ‌کس فلج نشد.

آیا باید نتیجه می‌گرفتند واکسن هیچ اثری ندارد؟

نه. فلج ناشی از بیماری آن‌قدر نادر بود که با نرخ معمول، حتی اگر هیچ کودکی واکسن نمی‌زد، در مجموع این دو گروه فقط حدود دو مورد انتظار می‌رفت. وقتی انتظارمان در همین حدود است، کاملاً ممکن است برحسب شانس هیچ موردی پیش نیاید. پس نتیجه‌ی مشاهده‌شده — هیچ فلجی میان واکسینه‌شده‌ها و هیچ فلجی میان واکسینه‌نشده‌ها — با هر دو حالت سازگار بود: هم با واکسنی مؤثر و هم با واکسنی بی‌اثر. آزمایشی با بیش از هزار کودک، که در نگاه اول بزرگ به نظر می‌رسید، برای دیدن رویدادی به این نادری کوچک بود. هاف می‌نویسد برای رسیدن به جوابی معنادار، چیزی حدود پانزده تا بیست‌وپنج برابرِ این تعداد کودک لازم بود.

امروز به احتمال این‌که یک آزمایش بتواند اثر واقعی با اندازه‌ای مشخص را تشخیص دهد «توان آماری» (Statistical Power) می‌گوییم. نامش از شهودش دشوارتر است. اگر می‌خواهیم صدای آرامی را در اتاقی شلوغ بشنویم، یا باید صدا را بلندتر کنیم یا مدت بیش‌تری گوش بدهیم. اثر کوچک و پدیده‌ی نادر نیز برای دیده‌شدن به داده‌ی بیش‌تری نیاز دارند.

به همین دلیل جمله‌ی «هیچ تفاوت معناداری پیدا نشد» با جمله‌ی «هیچ تفاوتی وجود ندارد» یکی نیست. شاید واقعاً تفاوتی نباشد؛ شاید هم چراغ‌قوه‌ی آزمایش آن‌قدر کم‌نور بوده که تفاوت را ندیده است.

---

هر برآوردی سایه‌ای دارد

یک عدد نمونه را در نظر بگیرید: «نرخ فروش در نسخه‌ی تازه‌ی محصول ۱۲ درصد و در نسخه‌ی قبلی ۱۰ درصد بود.»

تفاضل دو نرخ، دو واحد درصد است. از طرف دیگر، ۱۲ نسبت به ۱۰ بیست درصد بیش‌تر است. پس می‌توانیم در گزارش بنویسیم:

نسخه‌ی تازه، نرخ فروش را ۲۰ درصد افزایش داد.

اما هنوز نمی‌دانیم این نرخ‌ها از چند نفر به دست آمده‌اند.

اگر در هر گروه فقط هزار نفر بوده باشند، یعنی در نسخه‌ی قبلی ۱۰۰ فروش و در نسخه‌ی تازه ۱۲۰ فروش دیده‌ایم؛ کل تفاوت، بیست فروش است. از مثال سکه می‌دانیم شمارش‌هایی به این اندازه، فقط برحسب شانس، به‌راحتی ده-بیست مورد جابه‌جا می‌شوند. حساب تقریبی همین را تأیید می‌کند: با این داده‌ها، تفاوت واقعی دو نسخه هر مقداری از حدود ۰٫۷ واحد درصد به زیانِ نسخه‌ی تازه تا حدود ۴٫۷ واحد درصد به سود آن می‌تواند باشد. صفر هم داخل همین بازه است؛ یعنی داده‌ها هنوز با «هیچ اثری در کار نیست» هم سازگارند.

جزئیات اختیاری: این «حساب تقریبی» از کجا آمد؟

سه قدم ساده است.

قدم اول — نوسان هر گروه. اگر هر یک از هزار نفر با احتمالی حدود ۱۰ درصد خرید کند، شمار فروش‌ها عددی ثابت نیست. اندازه‌ی معمول این نوسان را «انحراف معیار» می‌نامند و برای چنین شمارشی حدود $\sqrt{1000\times 0.1\times 0.9}\approx 10$ فروش است. پس «۱۰۰ فروش» را باید «۱۰۰، با حدودِ ده فروش بالا و پایین» خواند. برای گروه دوم هم حساب تقریباً همین است.

قدم دوم — نوسان تفاوت. تفاوتِ دو عددِ نوسان‌دار از هر کدامشان بیش‌تر نوسان می‌کند؛ البته نوسان‌ها به‌جای جمع معمولی، با جمع مربع‌هایشان ترکیب می‌شوند: $\sqrt{10^2+10^2}\approx 14$ فروش، یعنی حدود ۱٫۴ واحد درصد.

قدم سوم — بازه. در نوسان‌های زنگوله‌ای‌شکل — مثل همان نمودار پرتاب سکه — نتیجه در حدود ۹۵ درصد اوقات از دو انحراف معیار دورتر نمی‌رود. پس بازه‌ی مرسومِ «۹۵ درصدی» چنین می‌شود: ۲ واحد درصدِ مشاهده‌شده، به‌اضافه و منهای دو برابرِ ۱٫۴؛ یعنی از حدود ۰٫۷ واحد درصد زیر صفر تا حدود ۴٫۷ واحد درصد بالای آن.

همین سه قدم نشان می‌دهد چرا نمونه‌ی بزرگ‌تر بازه را باریک می‌کند: با صد هزار نفر در هر گروه، نوسان هر شمارش نسبت به اندازه‌اش بسیار کوچک‌تر می‌شود و بازه به حدودِ ۲ به‌اضافه و منهای ۰٫۳ واحد درصد می‌رسد.

اگر همین نسبت‌ها از صد هزار نفر در هر گروه به دست آمده باشند، یعنی ده هزار فروش در برابر دوازده هزار فروش، بازه‌ی عدم‌قطعیت بسیار باریک‌تر می‌شود و تفاوت با اطمینان بیش‌تری از نوسان تصادفی جدا می‌شود.

همان ۱۰ درصد و ۱۲ درصد، دو داستان متفاوت دارند؛ چون اندازه‌ی نمونه فرق کرده است.

عددهایی که از نمونه به دست می‌آیند نقطه‌هایی تراش‌خورده و قطعی نیستند. اگر نمونه‌ی دیگری از همان جامعه بگیریم، جواب کمی تغییر می‌کند. یک گزارش خوب در کنار «بهترین برآورد» نشانه‌ای از این عدم‌قطعیت هم می‌آورد؛ مثلاً خطای معیار، حاشیه‌ی خطا یا بازه‌ی اطمینان.

بازه‌ی اطمینان را می‌توانیم فعلاً چنین بخوانیم: دامنه‌ای از اندازه‌های اثر که با داده‌های دیده‌شده و روش محاسبه‌ی ما سازگاری معقولی دارند. بازه‌ی پهن می‌گوید هنوز جواب‌های بسیار متفاوتی ممکن‌اند؛ بازه‌ی باریک می‌گوید داده‌ها بعضی جواب‌ها را با دقت بیش‌تری کنار زده‌اند.

این بازه چیزی بیش از تزئین علمی کنار عدد اصلی است. گاهی نتیجه‌ی مهم دقیقاً همان چیزی است که پهنای بازه به ما می‌گوید: «هنوز نمی‌دانیم.»

---

آیا احتمال واقعی‌بودن نتیجه ۹۵ درصد است؟

هاف برای حل مسئله‌ی نتایج تصادفی سراغ «معناداری آماری» می‌رود. توضیح او برای خواننده‌ی عمومیِ دهه‌ی ۱۹۵۰ شهودی است، اما بخشی از زبانش با تعریف دقیق امروزی سازگار نیست. گاهی متن چنین القا می‌کند که اگر نتیجه در سطح پنج درصد معنادار باشد، ۹۵ درصد احتمال دارد تفاوت واقعی باشد.

این برداشت رایج است، اما درست نیست.

در بسیاری از آزمون‌ها ابتدا یک جهان فرضی می‌سازیم که در آن تغییر ما هیچ اثری ندارد؛ به آن «فرض صفر» می‌گوییم. سپس می‌پرسیم اگر واقعاً اثری در کار نبود و فرض‌های مدل نیز برقرار بودند، دیدن داده‌ای به‌اندازه‌ی داده‌ی ما یا افراطی‌تر از آن چقدر نامحتمل بود؟ پاسخ این پرسش «مقدار $p$» (p-value) است.

اگر $p=0.03$ باشد، معنایش این نیست که فقط سه درصد احتمال دارد نتیجه تصادفی باشد، یا ۹۷ درصد احتمال دارد فرضیه‌ی ما درست باشد. معنایش این است که اگر فرض نبود اثر و دیگر فرض‌های مدل درست باشند، داده‌ای دست‌کم به این اندازه ناسازگار با آن فرض، در حدود سه درصد آزمایش‌های تکرارشده دیده می‌شود.

انجمن آمار آمریکا نیز در بیانیه‌ی خود درباره‌ی مقدار $p$ بر چند نکته تأکید کرده است:^۱

• مقدار $p$ احتمال درست‌بودن فرضیه را اندازه نمی‌گیرد؛
• به‌تنهایی اندازه یا اهمیت اثر را نشان نمی‌دهد؛
• و تصمیم علمی، تجاری یا سیاستی نباید فقط به عبور از مرز قراردادی ۰٫۰۵ وابسته باشد.

ممکن است اثری بسیار کوچک با نمونه‌ای عظیم از نظر آماری معنادار شود، اما در عمل هیچ اهمیتی نداشته باشد. برعکس، اثری مهم ممکن است در نمونه‌ای کوچک به مرز ۰٫۰۵ نرسد. موضوع فصل بعد کتاب دقیقاً همین فاصله‌ی میان «قابل‌تشخیص‌بودن» و «مهم‌بودن» است؛ پس فعلاً آن را باز می‌گذاریم.

برای این برگه کافی است به یاد بسپاریم که عدد اصلی باید همراه اندازه‌ی اثر، داده‌های خام، بازه‌ی عدم‌قطعیت و روش آزمایش خوانده شود. در جدول‌های مقاله‌ها و گزارش‌ها رسم است نتیجه‌های «معنادار» را با ستاره‌ای کوچک و پانویسِ $p<0.05$ علامت بزنند؛ آن ستاره فقط می‌گوید نتیجه از یک آستانه‌ی قراردادی گذشته است و جای هیچ‌کدام از آن اطلاعات را نمی‌گیرد.

---

ماهی مرده‌ای که فکر می‌کرد

مشکل خمیردندان هاف فقط این نبود که هر آزمایش دوازده نفر داشت. شرکت می‌توانست آزمایش را چند بار تکرار کند و نتیجه‌ی دلخواه را از میان آن‌ها بردارد. هر بار آزمایش، فرصت تازه‌ای برای خوش‌شانسی بود.

همین مسئله در پژوهش‌های پیچیده‌تر به شکل دیگری ظاهر می‌شود.

در تصویربرداری fMRI، مغز به هزاران بخش بسیار کوچک به نام وُکسل تقسیم می‌شود و پژوهشگر ممکن است فعالیت هر بخش را جداگانه آزمایش کند. حتی اگر احتمال مثبت کاذب در هر آزمون کم باشد، با هزاران آزمون تقریباً حتمی است که چند نقطه فقط برحسب شانس معنادار به نظر برسند.

کریگ بنت و همکارانش برای نمایش این خطر، یک ماهی آزاد مرده را داخل دستگاه fMRI گذاشتند. ماهی مرده بود؛ نه خوابیده بود و نه بیهوش. پژوهشگران همان تکلیفی را که بعداً به انسان‌ها می‌دادند مقابل ماهی قرار دادند و داده‌ها را تحلیل کردند.^۲

وقتی هر وکسل جداگانه آزموده شد و اصلاحی برای تعداد زیاد مقایسه‌ها صورت نگرفت، چند خوشه‌ی به‌ظاهر فعال در حفره‌ی مغز و ستون فقرات ماهی پیدا شد. نتیجه روی تصویر مغز رنگی و کاملاً علمی به نظر می‌رسید: ماهی مرده هنگام دیدن تصاویر اجتماعی واکنش نشان داده بود!

البته ماهی فکر نمی‌کرد. پژوهشگران هم چنین ادعایی نداشتند. کل آزمایش برای این طراحی شده بود که نشان دهد اگر هزاران جای داده را بگردیم، شانس بالاخره الگویی برایمان می‌سازد. وقتی اصلاح مناسب برای آزمون‌های متعدد انجام شد، تمام فعالیت‌های مغزی ناپدید شدند.

ماهی زنده نشد؛ روش تحلیل فقط به شانس فرصت‌های زیادی داده بود.

برای دیدن اندازه‌ی مسئله، فرض کنیم بیست شاخص مستقل را بررسی می‌کنیم و برای هرکدام احتمال مثبت کاذب را پنج درصد می‌پذیریم. احتمال این‌که هیچ‌کدام تصادفی معنادار نشوند $0.95^{20}\approx 0.36$ است؛ پس احتمال این‌که دست‌کم یکی از آن‌ها نتیجه‌ای کاذب اما معنادار بدهد حدود ۶۴ درصد است.

با بیست آزمون مستقل، احتمال دست‌کم یک مثبت کاذب در سطح پنج درصد حدود ۶۴ درصد است.

این محاسبه فرض ساده‌ی استقلال آزمون‌ها را دارد و در مسائل واقعی آزمون‌ها اغلب به هم وابسته‌اند؛ اما شهود اصلی پابرجاست: هرچه سؤال‌های بیش‌تری از داده بپرسیم، احتمال این‌که شانس یکی از جواب‌ها را به شکل کشفی مهم درآورد بیش‌تر می‌شود.

پس وقتی می‌شنویم «رابطه از نظر آماری معنادار بود»، یک عدد غایب دیگر را هم باید بخواهیم:

چند رابطه، شاخص، زیرگروه و بازه‌ی زمانی دیگر امتحان شد تا این یکی پیدا شود؟

---

نتیجه‌های ناموفق کجا می‌روند؟

فرض کنید بیست گروه پژوهشی مستقل یک درمان بی‌اثر را آزمایش می‌کنند. اگر همه از مرز پنج درصد استفاده کنند، انتظار داریم به‌طور متوسط یکی از آن‌ها فقط برحسب شانس نتیجه‌ای معنادار بگیرد.

نوزده گروه می‌نویسند «تفاوتی پیدا نشد». مقاله‌هایشان جذاب نیست، مجله‌ای نمی‌پذیرد یا خودشان زحمت انتشارش را نمی‌کشند. گروه بیستم مقاله‌ای با عنوان «درمانی تازه و امیدوارکننده» منتشر می‌کند. خواننده فقط همان یک موفقیت را می‌بیند و از نوزده شکست خبر ندارد.

به این مسئله گاهی «سوگیری انتشار» (Publication Bias) یا، با تصویری گویاتر، «اثر کشوی پرونده» (File Drawer Effect) می‌گویند: نتیجه‌های بی‌هیجان در کشو می‌مانند و نتیجه‌های چشمگیر وارد ادبیات علمی می‌شوند.

در محیط کار هم کشو داریم، حتی اگر مقاله‌ای در کار نباشد. آزمایش‌هایی که نتیجه‌ای نداشته‌اند در داشبوردهای قدیمی فراموش می‌شوند؛ تغییر موفق در ارائه‌ی فصلی مدیران ظاهر می‌شود. پس از یک سال، سازمان فقط داستان موفقیت‌ها را به یاد دارد و تصور می‌کند بیش‌تر ایده‌هایش از ابتدا درست بوده‌اند.

شفافیت فقط یعنی عدد منتشرشده را جعل نکنیم؟ نه. باید رد شکست‌ها، تغییر فرضیه‌ها و تحلیل‌های انجام‌شده را نیز نگه داریم. گاهی نبودن همین تاریخچه است که از یک نتیجه‌ی واقعی، برداشتی غیرواقعی می‌سازد.

---

دو برابرشدنِ یک خطر چقدر بزرگ است؟

تا این‌جا عددهای غایب بیش‌تر درباره‌ی نمونه و شانس بودند. اما گاهی نتیجه قطعی‌تر است و باز هم چیزی مهم از گزارش حذف شده: مقدار اولیه یا مخرج درصد.

در اکتبر ۱۹۹۵، نهاد ناظر دارویی بریتانیا درباره‌ی بعضی قرص‌های ضدبارداری نسل سوم هشدار داد. مطالعات از افزایش تقریباً دوبرابری خطر لخته‌شدن خون نسبت به بعضی قرص‌های نسل پیشین خبر می‌دادند.

«خطر دو برابر شد» همان «خطر صد درصد افزایش یافت» است. چنین جمله‌ای به‌درستی نگران‌کننده به نظر می‌رسد. اما دو برابرِ چه عددی؟

برآوردی که بعدها در نوشته‌های مربوط به ارتباط ریسک بسیار تکرار شد، تقریباً چنین بود:^۳

• در میان هر ۷۰۰۰ مصرف‌کننده‌ی قرص‌های نسل پیشین، حدود یک مورد لخته؛
• در میان هر ۷۰۰۰ مصرف‌کننده‌ی قرص‌های نسل سوم، حدود دو مورد لخته.

افزایش نسبی خطر ۱۰۰ درصد بود، اما افزایش مطلق خطر یک مورد در هر ۷۰۰۰ نفر بود. هر دو بیان از نظر حسابی درست‌اند و هیچ‌کدام را نباید به‌تنهایی تمام واقعیت دانست.

افزایش نسبی ۱۰۰ درصد؛ افزایش مطلق یک نفر در هر ۷۰۰۰ نفر.

نحوه‌ی اعلام این خطر اضطراب گسترده‌ای ایجاد کرد و بسیاری از زنان مصرف قرص را قطع کردند. پژوهش‌های بعدی، افزایش بارداری‌های ناخواسته و سقط جنین را با این هراس عمومی مرتبط دانستند؛^۴ بعضی برآوردها از حدود ۱۳ هزار سقط بیش‌تر در سال بعد در انگلستان و ولز سخن گفته‌اند. این عدد را نباید یک رابطه‌ی علّی دقیق و قطعی دانست؛ رفتار مردم و روند بارداری عوامل فراوانی دارد. اما اصل ماجرا روشن است: شیوه‌ی بیان یک ریسک کوچک می‌تواند تصمیم‌های بزرگ و پیامدهای واقعی بسازد.

ریسک نسبی برای مقایسه مفید است. افزایش از یک به دو واقعاً دو برابرشدن است. ریسک مطلق هم برای فهم اندازه‌ی واقعی مسئله ضروری است. گزارش خوب هر دو را می‌آورد و، اگر ممکن باشد، به‌جای درصدهای تنها از فراوانی طبیعی استفاده می‌کند:

از هر ۷۰۰۰ نفر، یک مورد در برابر دو مورد.

دفعه‌ی بعد که خواندیم چیزی «خطر را ۴۰ درصد کم می‌کند» یا «احتمال موفقیت را سه برابر می‌کند»، پیش از هیجان یا ترس بپرسیم:

از چند به چند؟ در میان چند نفر؟

---

نمونه‌ای از مملکت خودمان: نرخ بیکاری ۷٫۶ درصد

در سال ۱۴۰۳، مرکز آمار ایران نرخ بیکاری جمعیت ۱۵ساله و بیش‌تر را ۷٫۶ درصد اعلام کرد؛ نیم واحد درصد کم‌تر از سال پیش. نرخ مشارکت اقتصادی نیز ۴۱ درصد بود و نسبت به سال ۱۴۰۲ سه‌دهم واحد درصد کاهش داشت.^۵

«نرخ بیکاری ۷٫۶ درصد است» ممکن است در ذهن ما به‌سرعت به این جمله تبدیل شود:

پس ۹۲٫۴ درصد مردم در سن کار شاغل‌اند.

اما این نتیجه درست نیست. برای دیدن دلیلش باید مخرج کسر را پیدا کنیم.

نرخ بیکاری از تقسیم تعداد بیکاران بر «جمعیت فعال» به دست می‌آید؛ یعنی بر مجموع شاغلان و همین بیکارانِ جویای کار — نه بر همه‌ی مردم در سن کار.

در این تعریف، بیکار صرفاً کسی نیست که شغل ندارد. فرد باید برای کار آماده باشد و در دوره‌ای مشخص فعالانه دنبال کار گشته باشد. شاغلان و همین بیکارانِ جویای کار با هم «جمعیت فعال» را می‌سازند.

دانشجویی که فعلاً قصد کار ندارد، فرد بازنشسته، خانه‌داری که دنبال شغل بیرون از خانه نیست و کسی که از پیداکردن کار ناامید شده و دیگر جست‌وجو نمی‌کند، همگی شغل ندارند؛ اما در مخرج نرخ بیکاری نیستند. این کنارگذاشتن تقلب آماری نیست. نرخ بیکاری در ایران نیز مانند تعریف‌های استاندارد بین‌المللی برای اندازه‌گیری وضعیت جمعیت فعال ساخته شده است.^۶ مشکل وقتی آغاز می‌شود که فراموش کنیم این نرخ دقیقاً درباره‌ی چه کسانی حرف می‌زند.

برای سنجیدن سهم جمعیت در سن کار که وارد بازار کار شده‌اند، شاخص دیگری داریم: «نرخ مشارکت اقتصادی»، یعنی سهم جمعیت فعال از کل جمعیت ۱۵ساله و بیش‌تر.

در سال ۱۴۰۳ فقط ۴۱ درصد جمعیت ۱۵ساله و بیش‌تر در گروه فعال قرار داشتند. از این ۴۱ درصد نیز ۷٫۶ درصد بیکار بودند. پس نسبت اشتغال به کل جمعیت ۱۵ساله و بیش‌تر تقریباً چنین می‌شود:

۴۱٪ × ۹۲٫۴٪ ≈ ۳۷٫۹٪

بنابراین ۷٫۶ درصد نرخ بیکاری را نمی‌توان از صد کم کرد و گفت ۹۲٫۴ درصد جمعیت در سن کار شاغل‌اند. دو درصد ظاهراً مکمل، مخرج یکسانی ندارند.

گزارش سال ۱۴۰۳ نکته‌ی دیگری هم داشت. تعداد شاغلان حدود ۲۹۸ هزار نفر افزایش یافته بود؛ پس نمی‌توان گفت کاهش بیکاری صرفاً یک بازی آماری بوده و هیچ بهبودی رخ نداده است. از طرف دیگر، جمعیت غیرفعال اقتصادی حدود ۶۰۷ هزار نفر بیش‌تر شده و نرخ مشارکت نیز کاهش یافته بود. بنابراین از کاهش نرخ بیکاری به‌تنهایی نمی‌توان نتیجه گرفت وضعیت بازار کار به همان اندازه بهتر شده است.

نرخ بیکاری ممکن است به دلیل ایجاد شغل کم شود. ممکن است به این دلیل هم کم شود که بعضی بیکاران از جست‌وجوی کار دست کشیده و از جمعیت فعال خارج شده‌اند. در واقعیت، هر دو نیرو می‌توانند هم‌زمان کار کنند. برای جداکردنشان باید نرخ مشارکت، نسبت اشتغال، تعداد شاغلان، اشتغال ناقص، ساعت کار و وضعیت گروه‌های سنی و جنسیتی را هم دید.

این مثال هم به فصل سوم مربوط است و هم ما را به فصل نخست برمی‌گرداند. در این‌جا با «نمونه‌گیری بد» به معنای دقیق کلمه روبه‌رو نیستیم؛ تعریف نرخ از ابتدا جمعیت فعال را هدف گرفته است. اما عادت فکری فصل نخست همچنان راهگشاست:

چه کسانی شمرده شده‌اند و چه کسانی بیرون مانده‌اند؟

عدد رسمی می‌تواند درست باشد، اما نتیجه‌ای که ما از آن می‌گیریم از محدوده‌ی تعریفش بیرون بزند. نرخ بیکاری ۷٫۶ درصد درباره‌ی جمعیت فعال حرف می‌زند؛ نه درباره‌ی همه‌ی بزرگسالان، نه درباره‌ی کیفیت شغل‌ها و نه به‌تنهایی درباره‌ی سلامت کل بازار کار.

---

وقتی یک آزمایش محصول بالاخره برنده می‌شود

فرض کنید تیمی تغییری در صفحه‌ی خرید محصول ایجاد می‌کند و آن را با یک آزمایش A/B می‌سنجد. شاخص اصلی نرخ خرید است. پس از یک هفته، نرخ خرید تفاوت معناداری ندارد.

تیم کمی بیش‌تر در داده‌ها می‌گردد:

• متوسط مبلغ خرید بهتر شده؟ نه.
• تعداد کالا در هر خرید چطور؟ نه.
• بازگشت روز بعد؟ نه.
• بازگشت هفته‌ی بعد؟ نزدیک است، اما هنوز نه.
• کاربران اندروید؟ نه.
• کاربران iOS؟ بهتر شده است!
• کاربران تازه‌ی iOS در تهران؟ نتیجه از نظر آماری معنادار است.

گزارش نهایی می‌گوید:

تغییر تازه، بازگشت کاربران هدف را افزایش داد.

ممکن است این اثر واقعی باشد. اما ممکن است تیم با ساختن ترکیب‌های متعدد از شاخص، سیستم‌عامل، شهر، کاربر تازه و قدیمی و بازه‌ی زمانی، آن‌قدر سؤال پرسیده باشد که شانس بالاخره به یکی جواب مثبت داده است. درست مانند ماهی مرده، هر برش تازه از داده فرصت دیگری برای مثبت کاذب می‌سازد.

نگاه‌کردن هرروزه به نتیجه و متوقف‌کردن آزمایش در نخستین روزی که $p<0.05$ می‌شود نیز شکل دیگری از همین مسئله است. آزمایشی که قرار بود یک بار در پایان سنجیده شود، عملاً بارها آزموده شده است. روزهای بی‌نتیجه در گزارش دیده نمی‌شوند و فقط روز توقف باقی می‌ماند.

راه‌حل این نیست که دیگر داده را اکتشاف نکنیم. بسیاری از کشف‌های خوب از همین کنجکاوی آغاز می‌شوند. راه‌حل این است که میان دو نوع تحلیل فرق بگذاریم:

1. تحلیل تأییدی: پیش از آزمایش فرضیه، شاخص اصلی، اندازه‌ی نمونه یا مدت اجرا و قاعده‌ی تصمیم را مشخص کرده‌ایم. این تحلیل قرار است مبنای تصمیم نهایی باشد.
2. تحلیل اکتشافی: پس از دیدن داده‌ها الگوهای تازه پیدا می‌کنیم. این نتیجه سرنخی برای آزمایش بعدی است، نه همان مدرکی که ادعا را اثبات می‌کند.

اگر تحلیل نشان داد تغییر فقط برای کاربران تازه‌ی iOS در تهران مفید است، می‌توانیم فرضیه‌ی تازه‌ای بسازیم و آن را روی داده‌های جدید بیازماییم. استفاده از همان داده برای پیدا کردن الگو و اثبات آن، شبیه طراحی هدف دور جای گلوله‌ای است که قبلاً به دیوار خورده است.

پیش از آغاز یک آزمایش محصول بهتر است دست‌کم این موارد نوشته شوند:^۷،۸

• فرضیه‌ی ما دقیقاً چیست؟
• شاخص اصلی تصمیم کدام است؟
• کدام شاخص‌های محافظ نباید بدتر شوند؟
• آزمایش تا چه زمان یا چه تعداد کاربر ادامه پیدا می‌کند؟
• چه زیرگروه‌هایی از پیش مهم‌اند؟
• اگر ده‌ها شاخص را بررسی می‌کنیم، چگونه اثر آزمون‌های متعدد را کنترل خواهیم کرد؟

این نوشته‌ی کوتاه، حافظه‌ای بیرون از ذهن تیم می‌سازد. بعد از دیدن نتیجه دیگر نمی‌توانیم بی‌آن‌که متوجه شویم پرسش را عوض کنیم و وانمود کنیم از ابتدا همان را می‌پرسیدیم.

جزئیات اختیاری: با آزمون‌های متعدد چه کنیم؟

یک راه بسیار محافظه‌کارانه «اصلاح بونفرونی» است: اگر می‌خواهیم احتمال دست‌کم یک مثبت کاذب در مجموعه‌ی بیست آزمون از پنج درصد بیش‌تر نشود، آستانه‌ی هر آزمون را به یک‌بیستمِ آن، یعنی ۰٫۰۰۲۵، کاهش می‌دهیم. این روش ساده است، اما ممکن است اثرهای واقعی را هم سخت‌تر پیدا کند.

روش‌هایی مانند Benjamini–Hochberg به‌جای احتمال حتی یک خطا، «نرخ کشف کاذب» را کنترل می‌کنند و برای تحلیل‌های اکتشافیِ بزرگ مناسب‌ترند. برای آزمایش‌هایی که باید در طول اجرا بارها دیده شوند نیز روش‌های آزمون ترتیبی و بازه‌های همیشه‌معتبر وجود دارند.

انتخاب روش به نوع تصمیم بستگی دارد. نکته‌ی عمومی‌تر این است که نمی‌توانیم بیست بار همان آستانه‌ی پنج درصد را به کار ببریم و وانمود کنیم فقط یک بار آزمون کرده‌ایم.

---

بار بعد از یک ادعای آماری چه بپرسیم؟

وقتی با درصدی چشمگیر، نتیجه‌ی یک پژوهش یا گزارش موفقیت یک برنامه روبه‌رو می‌شویم، این پرسش‌ها کمک می‌کنند عددهای غایب را پیدا کنیم:

1. چند مشاهده وجود دارد؟ درصد به‌تنهایی کافی نیست؛ ۶۰ درصد می‌تواند سه نفر از پنج نفر یا ششصد هزار نفر از یک میلیون نفر باشد.
2. مخرج چیست؟ چه کسانی امکان ورود به کسر را داشته‌اند و چه کسانی بیرون مانده‌اند؟
3. مقدارهای خام چه بوده‌اند؟ «دو برابر» یعنی از یک به دو یا از یک میلیون به دو میلیون؟
4. عدم‌قطعیت چقدر است؟ بازه‌ی اطمینان یا حاشیه‌ی خطا چه جواب‌های دیگری را هنوز ممکن می‌داند؟
5. چند بار داده را آزموده‌اند؟ چند شاخص، زیرگروه، بازه‌ی زمانی و نسخه بررسی شده است؟
6. آیا پرسش پیش از دیدن نتیجه انتخاب شده بود؟ یا پس از مشاهده‌ی داده، داستان مناسب آن ساخته شده است؟
7. واژه‌ها دقیقاً چه تعریفی دارند؟ «بیکار»، «کاربر»، «پوشش»، «موفقیت» و «بهبود» هرکدام چه کسی یا چه رخدادی را شامل می‌شوند؟
8. آیا داده‌ی کامل‌تری در منبع اصلی هست؟ گاهی عدد گم‌شده در گزارش پژوهش وجود دارد و فقط در مسیر رسیدن به تیتر حذف شده است.

لازم نیست برای پرسیدن این سؤال‌ها آماردان باشیم. بیش‌ترشان پیش از هر فرمولی مطرح می‌شوند. کافی است عدد را جمله‌ای کامل ندانیم و از خود بپرسیم برای فهمیدن معنایش چه چیز دیگری باید می‌دانستیم.

پرسش فقط این نیست که «عدد چقدر است؟»؛ باید پرسید «کدام عدد باید کنارش می‌بود و نیست؟»

---

تمرین‌ها

تمرین ۱ — بیست شاخص و یک موفقیت. یک شرکت تغییری را آزمایش کرده و بیست شاخص مستقل را بررسی کرده است. تغییر روی نوزده شاخص اثری ندارد، اما یکی از آن‌ها با $p=0.04$ بهتر شده است. تیم همان شاخص را در گزارش برجسته می‌کند. چه اطلاعاتی برای ارزیابی نتیجه کم داریم؟

پاسخ

باید بدانیم شاخص برنده از پیش شاخص اصلی بوده یا از میان بیست نتیجه انتخاب شده است. اگر همه‌ی بیست آزمون زیر فرض نبود اثر مستقل باشند، احتمال دست‌کم یک نتیجه با $p<0.05$ حدود ۶۴ درصد است. $p=0.04$ بدون دانستن تعداد آزمون‌ها شاهد محکمی نیست. نتیجه می‌تواند سرنخی برای آزمایشی تازه باشد، یا باید با روشی مناسب برای آزمون‌های متعدد ارزیابی شود.

تمرین ۲ — کاهش ۵۰درصدی بیماری. دارویی احتمال ابتلا به بیماری را در سه سال از چهار نفر در هر هزار نفر به دو نفر در هر هزار نفر رسانده است. تبلیغ می‌گوید: «دارو خطر بیماری را ۵۰ درصد کاهش می‌دهد.» جمله درست است؟ چه عددی باید کنارش بیاید؟

پاسخ

از نظر نسبی، خطر از چهار به دو رسیده و ۵۰ درصد کم شده است. از نظر مطلق، کاهش دو مورد در هر هزار نفر، یا ۰٫۲ واحد درصد، است. برای تصمیم‌گیری آگاهانه باید هر دو عدد، همراه عوارض و عدم‌قطعیت برآورد، گزارش شوند. «۵۰ درصد» دروغ نیست، اما بدون «از چهار در هزار به دو در هزار» اندازه‌ی واقعی اثر را نشان نمی‌دهد.

تمرین ۳ — بیکاری کم‌تر، بدون شغل تازه. شهری صد هزار نفر جمعیت در سن کار دارد. در سال نخست ۵۰ هزار نفر در جمعیت فعال‌اند: ۴۵ هزار شاغل و پنج هزار بیکار. سال بعد تعداد شاغلان همچنان ۴۵ هزار نفر است، اما دو هزار بیکار از جست‌وجوی کار دست می‌کشند. نرخ بیکاری در هر سال چقدر است؟ آیا بازار کار بهتر شده است؟

پاسخ

در سال نخست نرخ بیکاری پنج هزار تقسیم بر ۵۰ هزار، یعنی ۱۰ درصد است. در سال دوم جمعیت فعال به ۴۸ هزار نفر می‌رسد: ۴۵ هزار شاغل و سه هزار بیکار. نرخ بیکاری سه هزار تقسیم بر ۴۸ هزار، یعنی ۶٫۲۵ درصد می‌شود. نرخ به‌وضوح کاهش یافته، اما حتی یک شغل تازه ایجاد نشده است. نرخ مشارکت نیز از ۵۰ درصد به ۴۸ درصد رسیده است. برای قضاوت درباره‌ی بازار کار باید هر دو نرخ و تعداد واقعی شاغلان را کنار هم ببینیم.

---

اکنون باید بتوانید…

• توضیح دهید چرا نمونه‌ی کوچک با نمونه‌ی سوگیر یک مسئله نیست و بزرگ‌ترکردن نمونه کدام‌یک را حل می‌کند.
• با مثال واکسن فلج اطفال نشان دهید چرا «هزار نفر» گاهی نمونه‌ی بزرگی نیست.
• توضیح دهید چرا $p<0.05$ به معنای «۹۵ درصد احتمال واقعی‌بودن اثر» نیست.
• با ماجرای ماهی مرده، خطر آزمون‌های متعدد و انتخاب نتیجه پس از دیدن داده‌ها را برای کسی روشن کنید.
• ریسک نسبی و مطلق را از هم جدا کنید و هر درصد چشمگیر را به تعدادهای خام برگردانید.
• توضیح دهید چرا نرخ بیکاری ۷٫۶ درصد به معنای اشتغال ۹۲٫۴ درصد جمعیت در سن کار نیست.
• و در هر ادعای آماری، علاوه بر عددی که منتشر شده، به‌دنبال عددهایی بگردید که برای تفسیر آن لازم‌اند اما در گزارش حضور ندارند.