چگونه با آمار دروغ بگوییم؟ · برگهٔ ۴ از ۴

هیاهو برای هیچ!

هر تفاوتی که دیده می‌شود، نه لزوماً واقعی است و نه لزوماً مهم.

در سه برگه‌ی گذشته سه پرسش را تمرین کردیم. برگه‌ی نخست پرسید چه کسانی شمرده شده‌اند و دیدیم نمونه‌ی کج، هرچقدر هم بزرگ، می‌تواند جواب نادرست بدهد. برگه‌ی دوم پرسید داده‌ها چگونه در یک «متوسط» خلاصه شده‌اند. برگه‌ی سوم سراغ عددهای غایب رفت: اندازه‌ی نمونه، بازه‌ی عدم‌قطعیت، مخرج کسر و شمار آزمون‌هایی که پیش از نتیجه‌ی چشمگیر امتحان شده‌اند.

برگه‌ی سوم را با یک وعده تمام کردیم: میان «قابل‌تشخیص‌بودن» یک تفاوت و «مهم‌بودن» آن فاصله‌ای است که موضوع فصل بعدی کتاب است. این برگه درباره‌ی همان فاصله است.

فصل چهارم کتاب دارل هاف، با عنوان Much Ado about Practically Nothing، درباره‌ی تفاوت‌هایی است که هیاهوی بزرگی به پا می‌کنند، اما وقتی خوب نگاه کنیم یا اصلاً وجود ندارند یا آن‌قدر کوچک‌اند که چیزی را عوض نمی‌کنند.

مسیر این برگه چنین است: ابتدا می‌بینیم که نمره و عدد، اندازه‌گیری‌اند و هر اندازه‌گیری نوسان دارد؛ سپس هر ادعای تفاوت را از دو دروازه عبور می‌دهیم — آیا تفاوت واقعی است و آیا مهم است؛ در ادامه می‌بینیم چگونه از رتبه‌ها، نمونه‌های عظیم و مقدارهای $p$ داستان‌هایی بزرگ‌تر از ظرفیت عدد ساخته می‌شود؛ و در پایان می‌پرسیم «تفاوتی پیدا نکردیم» کی به معنای «برابرند» است.

---

پیتر یا لیندا؟

پیتر در یک آزمون هوش نمره‌ی ۹۸ گرفته است و لیندا نمره‌ی ۱۰۱.

کدام‌یک باهوش‌تر است؟

پیش از ادامه، حدس بزنید. آیا این دو نمره برای پاسخ‌دادن کافی‌اند؟ چه چیزی درباره‌ی خود آزمون باید بدانیم؟

پاسخ ظاهراً روشن است: لیندا. نمره‌ی او سه واحد بیشتر است؛ تازه از مرز جادویی ۱۰۰ هم عبور کرده و در سمت «بالاتر از متوسط» ایستاده است، درحالی‌که پیتر پایین‌تر از متوسط مانده است.

اما این سه واحد اختلاف، احتمالاً بسیار کمتر از آن است که بتواند چنین داستانی را تحمل کند.

نمره‌ی آزمون، اندازه‌گیری دقیق و تغییرناپذیرِ هوش یک انسان نیست. اگر پیتر آزمون را روز دیگری بدهد، پرسش‌های دیگری ببیند یا آن روز کمتر خسته باشد، ممکن است نمره‌ی دیگری بگیرد. همین موضوع درباره‌ی لیندا نیز صادق است. نمره‌ای که می‌بینیم حاصل ترکیبی از توانایی فرد، ویژگی‌های آزمون، وضعیت او هنگام پاسخ‌دادن و مقداری نوسان اجتناب‌ناپذیر است.

هاف برای ساده‌کردن مثال، خطای محتمل این آزمون را حدود سه نمره در نظر می‌گیرد. بنابراین نمره‌ی پیتر را می‌توان چیزی در حدود ۹۵ تا ۱۰۱ و نمره‌ی لیندا را چیزی در حدود ۹۸ تا ۱۰۴ تصور کرد.

این دو محدوده بخش بزرگی از راه را روی هم افتاده‌اند. ممکن است توانایی لیندا واقعاً بیشتر باشد؛ ممکن است تقریباً برابر باشند؛ حتی ممکن است ترتیب واقعی برعکس چیزی باشد که این دو نمره نشان می‌دهند. داده‌ی موجود برای جداکردن این حالت‌ها کافی نیست.

سه واحد اختلاف روی برگه وجود دارد، اما هنوز معلوم نیست این اختلاف در چیزی که می‌خواهیم اندازه بگیریم نیز وجود داشته باشد.

نمره‌ی مشاهده‌شده تنها یک نقطه است؛ با درنظرگرفتن خطای اندازه‌گیری، تفاوت میان دو نفر دیگر آن‌قدر روشن نیست.

---

عددها دقیق‌تر از اندازه‌گیری ما نیستند

وقتی دماسنج عدد ۲۳ را نشان می‌دهد، به‌سادگی می‌پذیریم که دمای واقعی ممکن است کمی بیشتر یا کمتر باشد. وقتی ترازوی حمام امروز ۷۲٫۴ و فردا ۷۲٫۸ کیلوگرم نشان می‌دهد، معمولاً نتیجه نمی‌گیریم که در یک شب چهارصد گرم بافت تازه ساخته‌ایم.

اما در برابر نمره‌های آزمون، رتبه‌بندی‌ها، امتیازهای عملکرد و شاخص‌های آماری، گاهی همین احتیاط ساده را کنار می‌گذاریم. عددها ظاهری قطعی دارند و همین ظاهر باعث می‌شود فراموش کنیم که هر عدد محصول یک فرایند اندازه‌گیری است.

خطای اندازه‌گیری لزوماً به معنای اشتباه‌کردن پژوهشگر یا خراب‌بودن ابزار نیست. بخشی از آن از نوسان طبیعی پدیده می‌آید. فشار خون یک نفر در طول روز تغییر می‌کند. زمان پاسخ‌گویی یک سامانه از یک درخواست تا درخواست دیگر یکسان نیست. پاسخ یک فرد به پرسش‌نامه ممکن است با تغییر جزئی در صورت پرسش فرق کند. حتی بهترین ابزارها نیز این واقعیت متغیر را در قالب عددی محدود خلاصه می‌کنند.

در ساده‌ترین بیان، می‌توان گفت:

عدد مشاهده‌شده = مقدار واقعی + مقداری نوسان و خطا

مسئله این نیست که به‌دلیل وجود خطا، همه‌ی عددها را کنار بگذاریم. مسئله این است که نگذاریم تعداد رقم‌های یک عدد، بیش از ظرفیت اندازه‌گیری به آن اعتبار بدهد.

این احتیاط با پرسش از اعتبار خود سنجه نیز فرق دارد. ممکن است یک آزمون نتیجه‌ای باثبات تولید کند، اما دقیقاً همان مفهومی را که ادعا می‌کند نسنجد. برای مثال، آزمونی ممکن است بیش از «هوش»، آشنایی با زبان یا تجربه‌ی آزمون‌دادن را اندازه بگیرد. این مسئله‌ی دیگری است. فعلاً حتی فرض می‌کنیم سنجه‌ی ما معتبر است و تنها می‌پرسیم: این اندازه‌گیری چقدر دقیق است؟

---

دو دروازه برای عبور هر تفاوت

برگه‌ی پیشین را با این پرسش تمام کردیم که آیا تفاوت مشاهده‌شده ممکن است ساخته‌ی شانس باشد. فصل چهارم یک پرسش دیگر به آن اضافه می‌کند.

هر ادعای مبتنی بر تفاوت باید از دو دروازه عبور کند:

1. آیا داده‌ها واقعاً می‌توانند این تفاوت را از نوسان و خطا جدا کنند؟
2. اگر تفاوت واقعی باشد، آیا آن‌قدر بزرگ است که چیزی را تغییر دهد؟

این دو پرسش یکی نیستند.

ممکن است اختلافی بزرگ به نظر برسد، اما داده‌ها آن‌قدر نامطمئن باشند که نتوانیم وجودش را تشخیص دهیم. ممکن است اختلافی با اطمینان آماری بسیار زیاد وجود داشته باشد، اما آن‌قدر کوچک باشد که برای بیمار، مشتری یا تصمیم‌گیرنده اهمیتی نداشته باشد.

گاهی هم یک تفاوت کوچک می‌تواند بسیار مهم باشد. معنای «کوچک» و «بزرگ» را خود عدد تعیین نمی‌کند؛ زمینه و پیامد تصمیم تعیین می‌کند.

برای مثال، اگر یکی از دو داروی فشار خون، فشار را به‌طور متوسط ۰٫۱ میلی‌متر جیوه بیشتر از دیگری پایین بیاورد، احتمالاً این اختلاف معنایی ندارد. اما اگر دو دونده تنها چند هزارم ثانیه با هم فاصله داشته باشند، همان اختلاف می‌تواند مرز میان مدال طلا و نقره باشد.

بنابراین پرسش کامل این نیست که «آیا تفاوت وجود دارد؟»

باید بپرسیم:

تفاوت چقدر است، چقدر درباره‌ی اندازه‌ی آن مطمئنیم و آیا این مقدار برای تصمیم ما مهم است؟

---

تفاوتی که ممکن است وجود نداشته باشد

هاف پس از مثال نمره‌ی هوش، از سردبیری می‌نویسد که می‌خواهد بداند چه نوع مقاله‌ای برای خوانندگان مرد جذاب‌تر است. بررسی مخاطبان نشان می‌دهد ۴۰ درصد خوانندگان یک مقاله مرد بوده‌اند، درحالی‌که سهم مردان در مقاله‌ای دیگر ۳۵ درصد بوده است.

اختلاف پنج واحد درصدی در نگاه نخست قابل‌توجه به نظر می‌رسد. شاید سردبیر تصمیم بگیرد محتوای مجله را براساس آن تغییر دهد.

اما این درصدها از چند مرد به دست آمده‌اند؟ اگر تعداد مردان شرکت‌کننده در بررسی کم باشد، جابه‌جایی پاسخ تنها چند نفر می‌تواند همین اختلاف پنج‌واحدی را بسازد. نوشتن «۴۰ درصد» به‌جای «حدود ۴۰ درصد» چیزی بر دقت داده اضافه نمی‌کند.

هرچه نمونه کوچک‌تر و داده پراکنده‌تر باشد، دامنه‌ی مقادیر سازگار با آنچه دیده‌ایم گسترده‌تر می‌شود. در چنین وضعی، رتبه‌بندی‌کردن چند گزینه براساس اختلاف‌های کوچک، بیشتر از آنکه کشف تفاوت باشد، مرتب‌کردن نویز است.

این دام فقط در نظرسنجی و پژوهش علمی دیده نمی‌شود. در محیط کار نیز ممکن است عملکرد دو تیم، رضایت از دو مدیر یا زمان تحویل دو پروژه را با یک عدد مقایسه کنیم و برای تفاوتی کوچک داستانی مفصل بسازیم:

• تیم الف «سریع‌تر» است؛
• مدیر ب «رضایت بیشتری» ایجاد کرده است؛
• نسخه‌ی جدید محصول «تعامل کاربران را افزایش داده است».

پیش از ساختن این داستان‌ها باید دامنه‌ی عدم‌قطعیت را ببینیم. ممکن است داده‌ها چندین توضیح متفاوت را مجاز بدانند و ما تنها توضیح دلخواه خود را انتخاب کرده باشیم.

---

تفاوتی که وجود دارد، اما اهمیتی ندارد

فرض کنیم از دروازه‌ی نخست گذشته‌ایم. داده‌ی کافی داریم و می‌توانیم با اطمینان معقول بگوییم که اختلافی واقعی وجود دارد.

هنوز کار تمام نشده است.

در دهه‌ی ۱۹۴۰، مجله‌ی Reader’s Digest دود چند برند مشهور سیگار را در آزمایشگاه مقایسه کرد. نتیجه‌ی کلی چندان امیدوارکننده نبود: تفاوت برندها از نظر نیکوتین و مواد قیری، در عمل بسیار کوچک بود و هیچ برندی آن‌قدر برتر نبود که انتخابش به‌عنوان گزینه‌ای کم‌ضررتر توجیه شود.

بااین‌حال، در جدول آزمایش یک برند باید کمترین مقدار را می‌داشت. آن برند Old Gold بود.

شرکت سازنده همین رتبه را برداشت و نتیجه‌ی اصلی بررسی را کنار گذاشت. در تبلیغات اعلام کرد که آزمایش بی‌طرفانه‌ی Reader’s Digest نشان داده است دود Old Gold «کمترین نیکوتین» و «کمترین مواد قیری و آزاردهنده برای گلو» را دارد.

این عبارت‌ها از نظر محدود و لفظی به جدول آزمایش متکی بودند. مشکل آن چیزی بود که تبلیغ نمی‌گفت: اختلاف میان برندها آن‌قدر کوچک بود که آزمایشگاه آن را از نظر تأثیر بر مصرف‌کننده بی‌معنا می‌دانست.

«کمترین» واژه‌ی قدرتمندی است، زیرا رتبه را به ما می‌گوید و اندازه‌ی فاصله را پنهان می‌کند. نفر اول ممکن است کیلومترها جلوتر باشد یا تنها یک تار مو. در هر دو حالت می‌توان گفت اول شده است.

پرونده سرانجام به کمیسیون تجارت فدرال آمریکا و دادگاه رسید. دادگاه نیز به همین تفاوت میان درستی لفظی و برداشت گمراه‌کننده توجه کرد: شرکت یک اختلاف ناچیز را طوری تبلیغ کرده بود که گویی برتری مهمی برای سلامت مصرف‌کننده یافته شده است.^۱

سازوکار فریب در اینجا جعل عدد نبود. جدول می‌توانست کاملاً درست باشد. فریب از حذف مقیاس اختلاف ساخته شده بود.

این الگو هنوز زنده است:

• کمترین کارمزد؛ اما تنها چند تومان کمتر؛
• سریع‌ترین سرویس؛ اما فقط دو میلی‌ثانیه سریع‌تر؛
• بیشترین رضایت؛ اما با اختلافی کمتر از خطای بررسی؛
• مؤثرترین درمان؛ اما با بهبودی که بیمار متوجه آن نمی‌شود؛
• پربازده‌ترین صندوق؛ اما با برتری ناچیز و ریسک بیشتر.

هرجا صفت‌های عالی مانند «کمترین»، «بیشترین»، «سریع‌ترین» و «بهترین» را دیدیم، یک پرسش ساده می‌تواند بخش پنهان داستان را آشکار کند:

چقدر کمتر، بیشتر، سریع‌تر یا بهتر؟

---

معناداری آماری، مدال اهمیت نیست

در پژوهش‌ها معمولاً برای عبور از دروازه‌ی نخست از آزمون‌های آماری استفاده می‌شود. اگر نتیجه از آستانه‌ای قراردادی عبور کند، آن را «از نظر آماری معنادار» می‌نامند.

این عبارت به‌آسانی بد فهمیده می‌شود. «معنادار» در زبان روزمره یعنی مهم، قابل‌توجه و دارای پیامد. اما معناداری آماری چنین چیزی را تضمین نمی‌کند. نتیجه‌ی معنادار آماری تنها می‌گوید داده، تحت فرض‌ها و مدل مشخصی، با نبود کامل تفاوت چندان سازگار نیست.

این نتیجه نمی‌گوید اختلاف بزرگ است، مفید است، ارزش هزینه‌کردن دارد یا زندگی کسی را بهتر می‌کند.

انجمن آمار آمریکا نیز تأکید کرده است که تصمیم‌های علمی، تجاری و سیاستی نباید فقط براساس عبور مقدار $p$ از یک آستانه گرفته شوند. طراحی پژوهش، فرض‌های مدل، اندازه‌ی نمونه و اندازه‌ی اثر نیز اهمیت دارند.^۲

برای فهم اهمیت، باید خود تفاوت را ببینیم؛ نه فقط مدرکی را که علیه صفر داریم.

به این مقدار «اندازه‌ی اثر» (Effect Size) می‌گویند. اندازه‌ی اثر می‌تواند بسیار ساده و در همان واحد آشنای مسئله بیان شود:

• فشار خون چند میلی‌متر جیوه کمتر شده است؟
• درد در مقیاس صفر تا ده چند نمره کاهش یافته است؟
• نرخ خرید چند واحد درصد بیشتر شده است؟
• زمان پاسخ‌گویی چند میلی‌ثانیه کم شده است؟
• از هر هزار بیمار، چند نفر بیشتر بهبود یافته‌اند؟

گاهی برای مقایسه‌ی پژوهش‌هایی با مقیاس‌های متفاوت، اندازه‌ی اثر را استاندارد می‌کنند. این کار مفید است، اما در تصمیم‌های واقعی بهتر است تا حد امکان دوباره به واحدهای ملموس برگردیم. «اثر استاندارد ۰٫۲» برای بیشتر مردم معنای روشنی ندارد؛ «کاهش نیم‌نمره‌ای درد در مقیاس ده‌نمره‌ای» قابل‌فهم‌تر است.

---

وقتی نمونه‌ی بزرگ، تفاوت‌های بسیار کوچک را پیدا می‌کند

در برگه‌ی پیشین دیدیم که نمونه‌های کوچک ممکن است تفاوت‌های واقعی را نبینند. سوی دیگر ماجرا این است که نمونه‌های بسیار بزرگ می‌توانند تفاوت‌هایی بسیار کوچک را تشخیص دهند.

در سال ۲۰۱۲، پژوهشگران فیسبوک آزمایشی روی ۶۸۹٬۰۰۳ کاربر انجام دادند. آن‌ها مقدار محتوای مثبت یا منفی نمایش‌داده‌شده در خبرخوان بعضی کاربران را کاهش دادند و سپس زبان نوشته‌های خود کاربران را بررسی کردند.

وقتی نمایش نوشته‌های مثبت کاهش یافت، سهم واژه‌های مثبت در نوشته‌های بعدی کاربران اندکی کمتر و سهم واژه‌های منفی اندکی بیشتر شد. با کاهش نوشته‌های منفی، جهت تغییر برعکس بود. پژوهشگران این نتیجه را شاهدی برای «سرایت عاطفی» در شبکه‌های اجتماعی دانستند.^۳

نمونه‌ی آزمایش بسیار بزرگ بود و تغییرها از نظر آماری قابل‌تشخیص شدند. اما اندازه‌ی تغییرها کوچک بود. برای مثال، در یکی از مقایسه‌ها سهم واژه‌های مثبت حدود ۰٫۱ واحد درصد کاهش یافت؛ یعنی تقریباً یک واژه‌ی مثبت کمتر در هر هزار واژه. خود مقاله نیز به کوچک‌بودن اندازه‌ی اثر اشاره می‌کند.

البته تفسیر این پژوهش مشکل دیگری هم دارد: پژوهشگران احساس درونی افراد را مستقیماً اندازه نگرفتند؛ آن‌ها از سهم واژه‌های مثبت و منفی به‌عنوان نشانه‌ای از بیان عاطفی استفاده کردند. تغییر زبان ممکن است با تغییر احساس ارتباط داشته باشد، اما این دو دقیقاً یکی نیستند.

حال آیا نتیجه مهم بود؟

پاسخ به این بستگی دارد که درباره‌ی چه چیزی می‌پرسیم.

برای یک نوشته‌ی منفرد یا یک کاربر، چنین اثری احتمالاً بسیار کوچک است. اما تغییر الگوریتمی که هر روز بر صدها میلیون نفر اثر می‌گذارد، می‌تواند در مجموع پیامد قابل‌توجهی داشته باشد. حتی اگر اثر فردی ناچیز باشد، تکرار آن در مقیاس بزرگ ممکن است مهم شود.

از طرف دیگر، بزرگ‌بودن جامعه‌ی کاربران نباید بهانه‌ای باشد که هر تفاوت قابل‌تشخیصی را مهم بنامیم. برای داوری باید بدانیم اثر چقدر دوام دارد، آیا واقعاً از فضای آنلاین به حال روانی و رفتار بیرون از آن منتقل می‌شود، چه کسانی بیشتر تحت‌تأثیر قرار می‌گیرند و هزینه یا فایده‌ی آن چیست.

نمونه‌ی بزرگ پاسخ پرسش نخست را آسان‌تر می‌کند: آیا تفاوتی قابل‌تشخیص هست؟

اما پاسخ پرسش دوم همچنان به قضاوت، زمینه و پیامد نیاز دارد: آیا این تفاوت ارزش اهمیت‌دادن دارد؟

بزرگ‌شدن نمونه لزوماً اثر را بزرگ نمی‌کند؛ بازه‌ی عدم‌قطعیت را کوچک‌تر می‌کند و تشخیص اثرهای کوچک را آسان‌تر می‌سازد.

---

بهبودی که بیمار احساس نمی‌کند

در پزشکی، تفاوت میان «قابل‌تشخیص» و «مهم» می‌تواند مستقیماً بر انتخاب درمان اثر بگذارد.

در سال ۲۰۱۷ نتایج سه کارآزمایی درباره‌ی درمان کمردرد مزمن منتشر شد. همه‌ی بیماران برنامه‌ای استاندارد شامل ورزش و در صورت نیاز حمایت روان‌شناختی دریافت می‌کردند. گروه مداخله، علاوه بر آن، تحت نوعی درمان با امواج رادیویی برای ازکارانداختن عصب‌های انتقال‌دهنده‌ی درد قرار می‌گرفت.

شدت درد در مقیاسی از صفر تا ده سنجیده شد. پژوهشگران پیش از دیدن نتایج تعیین کرده بودند که کاهش دو نمره‌ای را به‌عنوان حداقل بهبود مهم در نظر می‌گیرند.

در یکی از کارآزمایی‌ها تفاوت متوسط درد میان دو گروه ۰٫۷۱ نمره و در دیگری ۰٫۹۹ نمره بود. بازه‌های اطمینان در این دو مقایسه صفر را کنار می‌گذاشتند؛ بنابراین شواهدی از وجود مقداری تفاوت داشتیم. اما حتی محدوده‌های سازگار با داده نیز به آستانه‌ی ازپیش‌تعیین‌شده‌ی دو نمره نمی‌رسیدند.

نتیجه‌ی پژوهش با دقت میان این دو ادعا فرق گذاشت: در بعضی مقایسه‌ها مقداری بهبود دیده شد، اما بهبود از نظر بالینی مهم نبود.^۴

این آستانه را «کمترین تغییر مهم بالینی» (Minimal Clinically Important Difference) می‌نامند: کمترین تغییری که برای بیمار یا تصمیم درمانی واقعاً ارزشمند تلقی می‌شود.

این مقدار قانون طبیعت نیست. ممکن است برای بیماری‌های مختلف، پیامدهای مختلف یا گروه‌های مختلف بیماران فرق کند. حتی درباره‌ی بهترین روش تعیین آن اختلاف‌نظر وجود دارد. بااین‌حال، طرح خود پرسش بسیار مهم است:

یک درمان باید چقدر وضعیت بیمار را بهتر کند تا این بهبود، در برابر هزینه، عوارض و زحمت درمان ارزش داشته باشد؟

اگر این آستانه را پس از دیدن نتیجه انتخاب کنیم، به‌سادگی می‌توانیم هر اثر کوچکی را موفقیت بنامیم. بهتر است پیش از آزمایش، حداقل نتیجه‌ی ارزشمند را مشخص کنیم.

---

پنج‌هزارم ثانیه‌ای که طلا را تعیین کرد

تا اینجا ممکن است وسوسه شویم هر تفاوت کوچک را بی‌اهمیت بدانیم. این هم اشتباه است.

در فینال صد متر مردان المپیک پاریس، زمان نوآ لایلز و کیشین تامپسون روی تابلو برای هر دو ۹٫۷۹ ثانیه نمایش داده شد. اما سامانه‌ی دقیق‌تر زمان‌سنجی، لایلز را با زمان ۹٫۷۸۴ و تامپسون را با زمان ۹٫۷۸۹ ثبت کرد.^۵

اختلاف فقط پنج‌هزارم ثانیه بود. همین اختلاف مدال طلا را تعیین کرد.

پنج‌هزارم ثانیه در بیشتر موقعیت‌های زندگی بی‌معناست. اگر دو مسیر رفت‌وآمد چنین اختلافی داشته باشند، کسی مسیر سریع‌تر را مهم نمی‌داند. اما در مسابقه‌ای که هدف آن رتبه‌بندی دقیق دوندگان است، همین مقدار کوچک مستقیماً تصمیم را عوض می‌کند.

اهمیت عملی ویژگی خود عدد نیست. از رابطه‌ی عدد با یک تصمیم می‌آید.

میانگین هم همیشه داستان همه را تعریف نمی‌کند. ممکن است دارویی برای بیشتر بیماران تقریباً بی‌اثر باشد، اما برای گروه کوچکی بسیار مفید واقع شود؛ یا میانگین تأخیر یک سامانه تنها یک میلی‌ثانیه افزایش یابد، اما درخواست‌های بسیار کند دو برابر شوند. «اثر متوسط کوچک است» لزوماً به معنای «برای هیچ‌کس مهم نیست» نیست.

برای قضاوت درباره‌ی یک تفاوت باید دست‌کم این‌ها را بدانیم:

• اثر چند بار تکرار می‌شود؟
• چند نفر را درگیر می‌کند؟
• اثر برای همه تقریباً یکسان است یا میانگینی آرام، سود یا زیانی شدید را برای گروهی پنهان می‌کند؟
• پیامد آن برگشت‌پذیر است یا نه؟
• هزینه‌ی به‌دست‌آوردنش چقدر است؟
• آیا از آستانه‌ی رسمی یا طبیعی یک تصمیم عبور می‌کند؟
• و مهم‌تر از همه، آیا با دانستن آن تصمیم دیگری می‌گیریم؟

یک اثر ناچیز بر هر کاربر ممکن است در مقیاس میلیون‌ها کاربر مهم شود. یک خطر بسیار کوچک ممکن است در صورت پیامدی فاجعه‌بار قابل‌چشم‌پوشی نباشد. یک اختلاف بسیار کوچک ممکن است مرز برنده و بازنده باشد.

پس درس فصل این نیست که تفاوت‌های کوچک را نادیده بگیریم. درس این است که اهمیت را از روی تعداد رقم‌ها، رتبه یا مقدار $p$ حدس نزنیم.

---

در آزمایش محصول، چه چیزی موفقیت محسوب می‌شود؟

فرض کنید یک فروشگاه اینترنتی نسخه‌ی تازه‌ای از صفحه‌ی خرید را آزمایش می‌کند. در نسخه‌ی قدیمی ۱۰٫۰۰ درصد کاربران خرید می‌کنند و در نسخه‌ی جدید این نرخ به ۱۰٫۰۵ درصد می‌رسد.

اختلاف فقط ۰٫۰۵ واحد درصد است. به بیان نسبی، نرخ خرید نیم درصد بیشتر شده است.

اگر در هر گروه تنها چند هزار کاربر داشته باشیم، ممکن است این اختلاف از نوسان معمول داده قابل‌تشخیص نباشد. اما اگر هر نسخه را ده میلیون کاربر دیده باشند، همین اختلاف کوچک می‌تواند از نظر آماری کاملاً معنادار شود.

در گروه قدیمی حدود یک میلیون خرید و در گروه جدید حدود یک میلیون و پنج‌هزار خرید داشته‌ایم: پنج‌هزار خرید بیشتر.

آیا باید نسخه‌ی جدید را منتشر کنیم؟

هنوز نمی‌دانیم.

اگر این آزمایش نماینده‌ی یک ماه عادی باشد، تغییر پایدار بماند، هر خرید سود مناسبی ایجاد کند و اجرای نسخه‌ی جدید تقریباً بی‌هزینه باشد، پنج‌هزار خرید بیشتر می‌تواند بسیار ارزشمند باشد.

اما شاید این تغییر به ماه‌ها کار مهندسی و نگه‌داری دائمی نیاز داشته باشد. شاید نرخ بازپرداخت وجه را بالا برده باشد. شاید خریدهای بیشتر، کوچک‌تر یا کم‌ارزش‌تر باشند. شاید صفحه را کندتر کرده یا تماس با پشتیبانی را افزایش داده باشد. حتی ممکن است اثر پس از چند روز و با ازبین‌رفتن تازگی رابط ناپدید شود.

آزمون آماری به ما نمی‌گوید این تغییر ارزش انتشار دارد. برای تصمیم باید اثر را به پیامدهای واقعی ترجمه کنیم:

• چند خرید اضافی؟
• چه مقدار درآمد یا سود؟
• با چه هزینه‌ای؟
• برای چه مدتی؟
• همراه با چه آسیب‌هایی؟
• و با چه درجه‌ای از عدم‌قطعیت؟

به همین دلیل، یک آزمایش خوب علاوه بر شاخص اصلی، «شاخص‌های محافظ» نیز دارد. اگر هدف افزایش خرید است، ممکن است نرخ لغو سفارش، بازپرداخت، شکایت، زمان بارگذاری و بازگشت مشتری نیز سنجیده شوند. موفقیت در یک عدد نباید اجازه دهد آسیب در عددی دیگر نادیده گرفته شود.

در طراحی این آزمایش‌ها دو آستانه‌ی متفاوت نیز نباید با هم اشتباه شوند. «کمترین اثر قابل‌تشخیص» (Minimum Detectable Effect) محدودیت ابزار اندازه‌گیری است: با این تعداد کاربر و این پراکندگی داده، آزمایش احتمال خوبی برای دیدن چه اندازه اثری دارد؟ «کمترین اثر ارزشمند» آستانه‌ی تصمیم است: کوچک‌ترین تغییری که از نظر محصول یا کسب‌وکار ارزش اقدام‌کردن دارد. آزمایشی که فقط اثرهای بسیار بزرگ‌تر از آستانه‌ی ارزشمندی را می‌بیند، نسبت به بخشی از اثرهای مهم نابیناست؛ اگر نتیجه‌اش معنادار نشود، نمی‌توان گفت تغییر بی‌فایده بوده است. و آزمایشی که اثرهای بسیار ریزتر از آن را می‌بیند، می‌تواند اثرهایی پیدا کند که هیچ تصمیمی را تغییر نمی‌دهند.

یک قاعده‌ی مفید این است:

آزمایش باید برای تشخیص اثری طراحی شود که واقعاً ارزش تصمیم‌گرفتن دارد.

و آستانه‌ی ارزشمندی بهتر است پیش از دیدن نتیجه تعیین شود. اگر پس از پایان آزمایش آن را جابه‌جا کنیم، تقریباً همیشه می‌توانیم نتیجه‌ی دلخواه خود را موفقیت بنامیم.

---

«تفاوتی پیدا نکردیم» یعنی «برابرند»؟

فرض کنید دو سامانه را از نظر سرعت مقایسه کرده‌ایم و تفاوت از نظر آماری معنادار نشده است.

آیا می‌توانیم بگوییم سرعتشان برابر است؟

نه لزوماً.

ممکن است واقعاً تقریباً برابر باشند. ممکن است نمونه‌ی ما کوچک و اندازه‌گیری نامطمئن باشد و تفاوت مهمی را ندیده باشیم. «مدرک کافی برای وجود تفاوت نداریم» با «مدرک کافی برای نبود تفاوت مهم داریم» یکی نیست.

برای اثبات برابری عملی، نخست باید بگوییم چه مقدار اختلاف را می‌توان نادیده گرفت.

فرض کنید سامانه‌ی تازه ارزان‌تر و ساده‌تر است و حاضریم تا ده میلی‌ثانیه کندترشدن را بپذیریم. در این صورت محدوده‌ی منفی ده تا مثبت ده میلی‌ثانیه، محدوده‌ی برابری عملی ماست.

حالا دو حالت را در نظر بگیریم:

• اختلاف برآوردشده دو میلی‌ثانیه است و بازه‌ی اطمینان آن از منفی دو تا مثبت شش میلی‌ثانیه امتداد دارد. کل بازه داخل محدوده‌ی قابل‌قبول ماست. داده‌ها نه‌تنها تفاوت معناداری نشان نمی‌دهند، بلکه اختلاف مهم‌تر از ده میلی‌ثانیه را نیز بعید می‌کنند.
• اختلاف برآوردشده باز هم دو میلی‌ثانیه است، اما بازه‌ی اطمینان از منفی شانزده تا مثبت بیست میلی‌ثانیه امتداد دارد. صفر داخل بازه است و نتیجه معنادار نیست؛ بااین‌حال کندشدن مهمی در حد بیست میلی‌ثانیه نیز هنوز با داده سازگار است. نتیجه نه برابری، بلکه بی‌اطلاعی است.

برای بررسی رسمی چنین پرسشی از «آزمون هم‌ارزی» (Equivalence Test) استفاده می‌شود. در این روش به‌جای آنکه فقط صفر را هدف بگیریم، محدوده‌ای از اثرهای عملاً بی‌اهمیت تعریف می‌کنیم و می‌پرسیم آیا داده‌ها اثرهای مهم‌تر از آن را کنار می‌گذارند یا نه.^۶

برای تصمیم‌گیری، جایگاه بازه‌ی مقادیر محتمل نسبت به صفر و آستانه‌ی اهمیت عملی هر دو مهم‌اند.

جزئیات فنی‌تر: آزمون هم‌ارزی چگونه کار می‌کند؟

یکی از روش‌های رایج، «دو آزمون یک‌طرفه» یا TOST است. پیش از تحلیل، یک کران پایین و یک کران بالا برای اثرهای بی‌اهمیت تعیین می‌کنیم. سپس جداگانه می‌آزماییم که اثر واقعی نه از کران پایین کوچک‌تر است و نه از کران بالا بزرگ‌تر.

اگر هر دو نتیجه پشتیبانی شوند، می‌توانیم اثرهای بزرگ‌تر از محدوده‌ی تعیین‌شده را کنار بگذاریم و از هم‌ارزی عملی سخن بگوییم.

در اجرای متداول TOST با سطح خطای پنج درصد، می‌توان بررسی کرد که آیا بازه‌ی اطمینان ۹۰درصدی کاملاً داخل کران‌های هم‌ارزی قرار می‌گیرد یا نه. انتخاب کران‌ها مهم‌تر از خود محاسبه است. این کران‌ها باید با دانش موضوعی، کمترین تغییر محسوس، هزینه‌فایده یا الزامات تصمیم توجیه شوند و ترجیحاً پیش از دیدن داده تعیین شده باشند.

هم‌ارزی همیشه به معنای یکسان‌بودن مطلق نیست. معنایش این است که اختلاف باقی‌مانده برای هدفی که از پیش تعریف کرده‌ایم به‌اندازه‌ی کافی کوچک است.

---

چگونه از یک تفاوت کوچک، داستانی بزرگ ساخته می‌شود؟

روش‌های گمراه‌کردن با اختلاف‌های کوچک معمولاً پیچیده نیستند:

فقط رتبه را بگوییم

بگوییم محصول ما «اول»، «سریع‌ترین» یا «کم‌خطرترین» است، بی‌آنکه فاصله با رتبه‌ی بعدی را نشان دهیم.

اندازه‌ی نمونه را پنهان کنیم

اختلاف ۴۰ و ۳۵ درصد را گزارش کنیم، اما نگوییم این درصدها از پاسخ چند نفر ساخته شده‌اند.

فقط مقدار $p$ را نشان دهیم

بنویسیم $p<0.001$، اما اندازه‌ی اثر، بازه‌ی اطمینان و واحد واقعی تفاوت را حذف کنیم. سه صفر بعد از ممیز می‌تواند اثر ناچیزی را بسیار مهم جلوه دهد.

آستانه‌ی موفقیت را پس از دیدن نتیجه بسازیم

اگر افزایش درآمد کوچک بود، بگوییم هدف تعامل بوده است. اگر تعامل تغییر نکرد، زیرگروهی را پیدا کنیم که بهتر شده است. اگر اثر ناچیز بود، هر مقدار مثبت را موفقیت بنامیم.

مقیاس را هرجا به سود داستان است تغییر دهیم

برای بزرگ‌کردن اثر، تفاوت نسبی را بگوییم؛ برای کوچک‌کردن آسیب، تفاوت مطلق را. واحد مناسب واحدی است که پیامد را روشن کند، نه واحدی که نتیجه‌ی دلخواه را بزرگ‌تر یا کوچک‌تر نشان دهد.

شاخص‌های مزاحم را حذف کنیم

فقط افزایش خرید را گزارش کنیم و افزایش بازپرداخت، شکایت، کندی سامانه یا فشار عملیاتی را کنار بگذاریم.

در همه‌ی این حالت‌ها ممکن است عدد گزارش‌شده درست باشد. آنچه گمراه‌کننده است، داستانی است که بیش از ظرفیت عدد از آن ساخته شده است.

---

پیش از اعتماد به یک تفاوت، چه بپرسیم؟

هنگام دیدن ادعایی درباره‌ی بهتر، بیشتر، سریع‌تر یا مؤثرترشدن، این پرسش‌ها معمولاً از خود آزمون آماری مفیدترند:

1. اندازه‌ی واقعی تفاوت چقدر است؟ نه فقط رتبه، جهت تغییر یا مقدار $p$؛ خود تفاوت را در واحدی قابل‌فهم ببینیم.

2. دامنه‌ی عدم‌قطعیت آن چیست؟ چه اندازه‌های دیگری هنوز با داده سازگارند؟ آیا صفر، اثر ناچیز یا اثر مهم همگی ممکن‌اند؟

3. کمترین اثر مهم را چگونه تعیین کرده‌ایم؟ چه مقدار تغییر باید رخ دهد تا تصمیم ما عوض شود؟ آیا این آستانه پیش از دیدن نتیجه تعیین شده است؟

4. اثر برای چه کسی و در کدام بخش توزیع رخ داده است؟ آیا میانگین کوچک، سود یا زیان بزرگی را برای گروهی پنهان می‌کند؟

5. اثر در چه مقیاسی و چند بار تکرار می‌شود؟ یک تغییر کوچک ممکن است برای یک نفر بی‌اهمیت و برای میلیون‌ها نفر یا در تکرار روزانه مهم باشد.

6. هزینه‌ها و آسیب‌های همراه چیست؟ نتیجه‌ی بهتر در شاخص اصلی به قیمت خراب‌شدن کدام شاخص محافظ به دست آمده است؟

7. آیا این تفاوت واقعاً تصمیمی را تغییر می‌دهد؟ اگر با دانستن عدد همان تصمیم قبلی را می‌گیریم، شاید با هیاهویی برای تقریباً هیچ روبه‌رو باشیم.

درس ماندگار فصل را می‌توان در یک جمله خلاصه کرد:

پرسش درست فقط این نیست که «آیا فرقی وجود دارد؟»؛ باید پرسید «چقدر فرق دارد و آیا این مقدار چیزی را عوض می‌کند؟»

در این برگه با خود عددها کلنجار رفتیم. فصل بعد سراغ چیزی می‌رود که پیش از هر عددی چشم را می‌گیرد: نمودار. خواهیم دید یک نمودار می‌تواند بی‌آنکه حتی یک عدد را عوض کند، داستان را عوض کند.

---

تمرین‌ها

تمرین ۱ — سه نمره بیشتر. دو داوطلب در یک آزمون به‌ترتیب نمره‌های ۱۰۴ و ۱۰۷ گرفته‌اند. خطای اندازه‌گیری آزمون برای هر نمره حدود چهار واحد است. آیا می‌توان داوطلب دوم را با اطمینان توانمندتر دانست؟

پاسخ

نه. فاصله‌ی نمره‌ها سه واحد است، درحالی‌که عدم‌قطعیت هر اندازه‌گیری حدود چهار واحد است. محدوده‌های محتمل دو نمره هم‌پوشانی زیادی دارند. ممکن است داوطلب دوم واقعاً توانمندتر باشد، اما این دو نمره برای نتیجه‌گیری قطعی کافی نیستند.

این پاسخ نمی‌گوید دو نفر حتماً برابرند؛ می‌گوید داده‌ی موجود نمی‌تواند تفاوتشان را با دقت لازم مشخص کند.

تمرین ۲ — نتیجه‌ی معنادار، بهبود ناچیز. دارویی در مقایسه با درمان معمول، درد را به‌طور متوسط ۰٫۶ نمره در مقیاس صفر تا ده کاهش داده است. بازه‌ی اطمینان تفاوت از ۰٫۳ تا ۰٫۹ نمره است و نتیجه از نظر آماری معنادار است. پیش از آزمایش، کاهش ۱٫۵ نمره‌ای به‌عنوان کمترین بهبود مهم تعیین شده بود. چه می‌توان گفت؟

پاسخ

داده‌ها از وجود مقداری اثر پشتیبانی می‌کنند، زیرا کل بازه‌ی اطمینان در جهت کاهش درد قرار دارد. بااین‌حال، حتی بزرگ‌ترین اثرهای سازگار با این بازه نیز به آستانه‌ی ۱٫۵ نمره نمی‌رسند.

پس درمان احتمالاً اثری واقعی اما از نظر معیار ازپیش‌تعیین‌شده بی‌اهمیت دارد. معناداری آماری نباید جای اهمیت بالینی را بگیرد.

تمرین ۳ — پنج‌هزار خرید بیشتر. نسخه‌ی جدید یک محصول در آزمایشی بسیار بزرگ، نرخ خرید را از ۱۰٫۰۰ به ۱۰٫۰۵ درصد رسانده و نتیجه از نظر آماری معنادار شده است. آیا باید نسخه‌ی جدید را منتشر کرد؟

پاسخ

اطلاعات کافی نداریم. باید بدانیم این پنج‌صدم واحد درصد در مقیاس واقعی چند خرید و چه مقدار سود ایجاد می‌کند، اثر چقدر پایدار است، اجرای تغییر چه هزینه‌ای دارد و شاخص‌هایی مانند بازپرداخت، شکایت و زمان بارگذاری چه تغییری کرده‌اند.

ممکن است این اختلاف کوچک در مقیاس میلیون‌ها کاربر بسیار ارزشمند باشد؛ ممکن هم هست هزینه‌ها و آسیب‌های همراه از منفعت آن بیشتر باشند. آزمون آماری فقط بخشی از تصمیم را پاسخ داده است.

---

اکنون باید بتوانید…

• توضیح دهید چرا سه نمره اختلاف در آزمونی با خطای محتمل حدود سه نمره، برای باهوش‌ترخواندن یک نفر کافی نیست.
• هر ادعای تفاوت را از دو دروازه عبور دهید: آیا داده‌ها می‌توانند تفاوت را از نوسان جدا کنند؟ و آیا اندازه‌ی تفاوت چیزی را تغییر می‌دهد؟
• با ماجرای Old Gold نشان دهید چگونه صفت‌هایی مانند «کمترین» بدون جعل هیچ عددی گمراه می‌کنند، و در برابرشان بپرسید: چقدر کمتر؟
• توضیح دهید چرا «از نظر آماری معنادار» به معنای «مهم» نیست و چرا باید اندازه‌ی اثر را در واحدی ملموس دید.
• توضیح دهید چرا نمونه‌های بسیار بزرگ تفاوت‌های ناچیز را معنادار می‌کنند و چرا داوری درباره‌ی اهمیت همچنان به زمینه و پیامد نیاز دارد.
• فرق «کمترین اثر قابل‌تشخیص» و «کمترین اثر ارزشمند» را توضیح دهید و بگویید چرا آستانه‌ی موفقیت باید پیش از دیدن نتیجه تعیین شود.
• و توضیح دهید چرا «تفاوت معناداری پیدا نکردیم» با «تفاوت مهمی وجود ندارد» یکی نیست و آزمون هم‌ارزی چه پرسشی را پاسخ می‌دهد.