اثر واقعی را از فروش عادی جدا می‌کنیم
شمردن پیام‌های ارسال‌شده یا جمع فروش بعد از کمپین نشان نمی‌دهد اقدام چه چیزی را تغییر داده است، چون بخشی از آن خریدها بدون اقدام هم رخ می‌داد. دانامو برای همین، از روز اول گروه کنترل نگه می‌دارد.
گروه کنترل چیست و چرا لازم است
بخشی از مشتریان واجد شرایط به‌صورت تصادفی و در لحظهٔ ورود کنار گذاشته می‌شوند و پیامی نمی‌گیرند. تفاوت خرید دو گروه، همان چیزی است که واقعاً به‌خاطر اقدام رخ داده است.
گروه کنترل
گروه اقدام
مشتریان واجد شرایطی که به‌صورت تصادفی برای دریافت اقدام انتخاب شده‌اند، چه پیام به آن‌ها رسیده باشد چه نه.
گروه کنترل
بخشی از همان مشتریان که اقدامی دریافت نمی‌کنند. نرخ خرید این گروه، برآورد «رفتار طبیعی خرید» است: خریدی که بدون اقدام هم رخ می‌داد.
بازهٔ سنجش
مدت زمانی بعد از ورود که نتیجه در آن شمرده می‌شود. متناسب با الگو و چرخهٔ خرید است و پیش از شروع تعیین می‌شود.
سه عدد که هرگز با هم جمع نمی‌شوند
در گزارش هر برنامه سه عدد جدا و با برچسب روشن می‌آید. فقط عدد دوم «اثر» نامیده می‌شود.
سه عدد گزارش
فروش منتسب
بعد از اقدام، گروه اقدام چقدر خرید کرد؟ شامل خریدهایی که بدون اقدام هم رخ می‌داد. هرگز با برچسب «اثر» نمایش داده نمی‌شود.
درآمد افزایشی
اقدام چقدر درآمد اضافه ساخت؟ تفاوت با گروه کنترل، همراه با بازهٔ اطمینان.
سود افزایشی
پس از حاشیهٔ سود، تخفیف و هزینهٔ کانال، چه چیزی برای کسب‌وکار ماند؟ تخفیف روی همهٔ سفارش‌های گروه اقدام کسر می‌شود، از جمله سفارش‌هایی که بدون تخفیف هم ثبت می‌شدند.
یک اجرا، سه عدد، سه درس
عددهای این مثال ساختگی‌اند و فقط روش را نشان می‌دهند. در یک اجرای الگوی خرید دوم، مشتریان واجد شرایط به‌صورت تصادفی تقسیم شدند.
مثال محاسباتی
- مشتری واجد شرایط
- ۲٬۸۰۰ نفر؛ ۲٬۵۲۰ نفر گروه اقدام (۹۰٪) و ۲۸۰ نفر گروه کنترل (۱۰٪)
- اقدام
- پیام با تخفیف ۱۰٪
- نرخ خرید در بازهٔ ۳۰ روزه
- ۱۸٪ در گروه اقدام و ۱۱٪ در گروه کنترل
- فرض‌ها
- میانگین سفارش ۱٫۸۵ میلیون تومان، حاشیهٔ سود ۳۰٪، هزینهٔ پیامک ۲٫۵ میلیون تومان
| مبنا | سفارش | مبلغ |
|---|---|---|
| فروش منتسب: همهٔ خریدهای گروه اقدام | حدود ۴۵۴ سفارش | حدود ۸۴۰ میلیون تومان |
| درآمد افزایشی: تفاوت با گروه کنترل | حدود ۱۷۶ سفارش | حدود ۳۲۶ میلیون تومان؛ بازهٔ اطمینان ۹۵٪: ۱۴۰ تا ۵۱۰ میلیون تومان |
| سود افزایشی همین اجرا، با تخفیف روی همه | — | حدود ۱۱ میلیون تومان |
| سود افزایشی، اگر همین اثر بدون تخفیف به دست می‌آمد (فرضی) | — | حدود ۹۵ میلیون تومان |
Rinc = (rT − rC) × NT · Pinc = Rinc × m − Caction − DT
r میانگین درآمد هر مشتری در بازهٔ سنجش، N تعداد گروه اقدام، m حاشیهٔ سود، C هزینهٔ مستقیم اقدام (مثل پیامک) و D مجموع تخفیف گروه اقدام است. درآمد پیش از تخفیف و پس از کسر مرجوعی و لغو حساب می‌شود.
سه درس این مثال
- فروش منتسب با درآمد افزایشی فرق دارد. دانامو هر دو را جدا و با برچسب روشن گزارش می‌کند و فقط دومی را «اثر» می‌نامد.
- عدم قطعیت دیده می‌شود. با ۲۸۰ نفر گروه کنترل، بازهٔ اطمینان پهن است و حد بالا بیش از سه برابر حد پایین است. تا وقتی حجم کم است، اثر در سطح الگو و با تجمیع چند اجرا گزارش می‌شود.
- تخفیف همگانی تقریباً همهٔ سود افزایشی را از بین برد، چون به خریدارانی هم داده شد که بدون تخفیف می‌خریدند. به همین دلیل تخفیف پیش‌فرض نیست و به‌عنوان شاخهٔ آزمون در برابر پیام بدون تخفیف پیشنهاد می‌شود.
بازهٔ اطمینان فقط عدم قطعیت نرخ خرید را در نظر می‌گیرد و مبلغ سفارش را ثابت فرض می‌کند؛ با نوسان واقعی مبلغ سفارش، بازه پهن‌تر می‌شود. فرض شده مرجوعی در دو گروه یکسان است و گروه کنترل در این بازه پیام دیگری از فروشگاه نگرفته است.
چهار سطح، و هر جمله جای خودش را دارد
بیشترین خطر برای اعتبار یک گزارش، بیان رابطهٔ هم‌زمانی به زبان علّی است. دانامو در هر پاسخ تحلیلی سطح شواهد را نشان می‌دهد.
سطح‌های شواهد
شواهد
آنچه داده مستقیماً و بدون تفسیر نشان می‌دهد.
«نرخ خرید دوم در سه ماه اخیر از ۱۸ به ۱۳ درصد رسیده است.»
توضیح محتمل
برداشتی که با شواهد سازگار است اما هنوز با آزمون کنترل‌شده اثبات نشده است.
«هم‌زمان هزینهٔ ارسال بالا رفته است؛ ممکن است این دو به هم ربط داشته باشند، اما علیت قطعی اثبات نشده است.»
علت اثبات‌شده
فقط وقتی آزمون کنترل‌شده با گروه کنترل تصادفی، اثر را نشان داده باشد.
«در آزمون با گروه کنترل، ارسال رایگان خرید دوم را افزایش داد؛ بازه اطمینان در گزارش آمده است.»
نیازمند بررسی
وقتی داده لازم بیرون از پلتفرم است یا حجم نمونه برای تشخیص کافی نیست.
«۱۲٪ گروه پیام و ۷٪ گروه کنترل خریدند، اما با این حجم نمونه بازه اطمینان صفر را هم دربر می‌گیرد؛ هنوز قابل تشخیص نیست.»
«هنوز قابل تشخیص نیست» به معنای «اثر نداشت» نیست. وقتی حجم کافی نیست، گزارش همین را می‌گوید.
قاعده‌هایی که بخشی از خود محصول‌اند
سنجش افزایشی در ظاهر ساده است اما چند خطای رایج می‌تواند نتیجه را بی‌اعتبار کند. این قواعد توصیه به کاربر نیستند؛ در محصول اعمال می‌شوند.
قواعد
همهٔ تخصیص‌یافته‌ها شمرده می‌شوند
حتی اگر پیامشان نرسیده یا لغو اشتراک کرده‌اند. نرخ تحویل جدا گزارش می‌شود تا اثر بزرگ‌نمایی نشود.
هر مشتری در همان گروه می‌ماند
تخصیص پایدار است؛ مشتری میان دو گروه جابه‌جا نمی‌شود و گروه کنترل آلوده نمی‌شود.
بازه و حجم پیش از شروع تعیین می‌شود
توقف زودهنگام فقط برای ایمنی مجاز است، نه به این دلیل که نتیجه خوب به نظر می‌رسد.
سود، نه فقط درآمد
حاشیه سود، تخفیف روی همهٔ سفارش‌ها و هزینهٔ کانال وارد نتیجهٔ نهایی می‌شوند.
تداخل با کمپین‌های دستی ثبت می‌شود
ارسال‌های دستی فروشگاه و مسیرهای هم‌زمان در گزارش دیده می‌شوند و به الگوی دانامو نسبت داده نمی‌شوند.
نتیجهٔ منفی هم نتیجه است
اثر صفر یا منفی با همان دقت گزارش و در کتابخانهٔ نتایج ثبت می‌شود.
دانامو را از نزدیک ببینید
در دمو یک فروشگاه نمونه را از داده تا نتیجه دنبال می‌کنید و می‌بینید دانامو در هر مرحله چه پیشنهادی می‌دهد.