سحابة الذكاء المثلى: كيفية استخدام محرك الإحصائيات لاختبار أ / ب بشكل أكثر ذكاءً وأسرع

Optimizely Stats Engine واستراتيجيات اختبار A / B

إذا كنت تتطلع إلى تشغيل برنامج تجريبي لمساعدة عملك في الاختبار والتعلم ، فمن المحتمل أنك تستخدمه Optimizely Intelligence Cloud - أو على الأقل نظرت إليه. تعد Optimizely واحدة من أقوى الأدوات في اللعبة ، ولكن مثل أي أداة من هذا القبيل ، قد تستخدمها بشكل خاطئ إذا لم تفهم كيفية عملها. 

ما الذي يجعل Optimizely بهذه القوة؟ يكمن في جوهر مجموعة الميزات الخاصة به محرك الإحصائيات الأكثر استنارة وبديهية في أداة الطرف الثالث ، مما يسمح لك بالتركيز أكثر على إجراء الاختبارات المهمة مباشرة - دون الحاجة إلى القلق من إساءة تفسير نتائجك. 

مثل الكثير من الدراسات التقليدية العمياء في الطب ، إختبار أ / ب سوف تظهر بشكل مختلف بشكل عشوائي العلاجات من موقعك إلى مستخدمين مختلفين لمقارنة فعالية كل علاج بعد ذلك. 

تساعدنا الإحصائيات بعد ذلك في عمل استنتاجات حول مدى فعالية هذا العلاج على المدى الطويل. 

تعتمد معظم أدوات اختبار A / B على نوع من نوعين من الاستدلال الإحصائي: إحصائيات متكررة أو بايزية. لكل مدرسة مزايا وعيوب مختلفة - تتطلب الإحصائيات المتكررة تحديد حجم عينة مسبقًا قبل إجراء التجربة ، وتهتم إحصاءات Bayesian بشكل أساسي باتخاذ قرارات اتجاهية جيدة بدلاً من تحديد أي رقم فردي للتأثير ، على سبيل المثال لا الحصر. تكمن القوة العظمى لـ Optimizely في أنها الأداة الوحيدة في السوق اليوم التي تستخدم أفضل ما في العالمين النهج.

النتيجة النهائية؟ يمكّن المستخدمين على النحو الأمثل من إجراء التجارب بشكل أسرع وأكثر موثوقية وبديهية.

من أجل الاستفادة الكاملة من ذلك ، من المهم فهم ما يحدث وراء الكواليس. فيما يلي 5 رؤى واستراتيجيات ستجعلك تستخدم إمكانات Optimizely مثل المحترفين.

الإستراتيجية رقم 1: افهم أنه لا يتم إنشاء جميع المقاييس على قدم المساواة

في معظم أدوات الاختبار ، هناك مشكلة يتم تجاهلها بشكل شائع وهي أنه كلما زاد عدد المقاييس التي تضيفها وتتبعها كجزء من الاختبار ، زادت احتمالية رؤيتك لبعض الاستنتاجات غير الصحيحة بسبب الصدفة العشوائية (في الإحصائيات ، يُطلق على ذلك "مشكلة الاختبار المتعدد" "). من أجل الحفاظ على نتائجها موثوقة ، تستخدم Optimizely سلسلة من الضوابط والتصحيحات للحفاظ على احتمالات حدوث ذلك منخفضة قدر الإمكان. 

هذه الضوابط والتصحيحات لها تأثيران عندما تذهب لإعداد الاختبارات في Optimizely. أولاً ، المقياس الذي تحدده على أنه مقياس المقياس الأساسي ستصل الدلالة الإحصائية بشكل أسرع ، وكل الأشياء الأخرى ثابتة. ثانيًا ، كلما زاد عدد المقاييس التي تضيفها إلى التجربة ، زادت المدة التي تستغرقها المقاييس اللاحقة للوصول إلى الأهمية الإحصائية.

عند التخطيط لتجربة ، تأكد من معرفة المقياس الذي سيكون مقياس الشمال الحقيقي الخاص بك في عملية اتخاذ القرار الخاصة بك ، اجعل هذا المقياس الأساسي الخاص بك. بعد ذلك ، احتفظ بقائمة المقاييس المتبقية منخفضة عن طريق إزالة أي شيء لا لزوم له أو مماسي.

الإستراتيجية رقم 2: بناء السمات المخصصة الخاصة بك

يعد Optimizely أمرًا رائعًا في إعطائك العديد من الطرق المفيدة والمفيدة لتقسيم نتائج تجربتك. على سبيل المثال ، يمكنك فحص ما إذا كانت بعض المعالجات تؤدي بشكل أفضل على أجهزة الكمبيوتر المكتبية مقابل الأجهزة المحمولة ، أو ملاحظة الاختلافات عبر مصادر الزيارات. مع نضوج برنامج التجربة الخاص بك ، سترغب سريعًا في الحصول على شرائح جديدة - قد تكون محددة لحالة الاستخدام الخاصة بك ، مثل شرائح الشراء لمرة واحدة مقابل الاشتراكات ، أو عامة مثل "الزوار الجدد مقابل الزائرين العائدين" (والتي ، بصراحة ، ما زلنا لا نستطيع معرفة سبب عدم تقديم ذلك خارج الصندوق).

والخبر السار هو أنه من خلال حقل Project Javascript الخاص بـ Optimizely ، يمكن للمهندسين المطلعين على Optimizely إنشاء أي عدد من السمات المخصصة المثيرة للاهتمام والتي يمكن تعيين الزائرين لها وتقسيمها إلى شرائح. في Cro Metrics ، قمنا ببناء عدد من وحدات المخزون (مثل "الزوار الجدد مقابل الزائرين العائدين") التي نقوم بتثبيتها لجميع عملائنا عبر Project Javascript. تُعد الاستفادة من هذه القدرة أحد العوامل الرئيسية التي تميز الفرق الناضجة التي لديها الموارد التقنية المناسبة لمساعدتها على التنفيذ ، والفرق التي تكافح من أجل تحقيق الإمكانات الكاملة للتجربة.

الإستراتيجية رقم 3: اكتشف مسرع الإحصائيات في Optimizely

تتمثل إحدى ميزات أداة الاختبار التي غالبًا ما يتم المبالغة فيها في القدرة على استخدام "ماكينات الألعاب المتعددة" ، وهي نوع من خوارزمية التعلم الآلي التي تغير ديناميكيًا مكان تخصيص حركة المرور الخاصة بك على مدار التجربة ، لإرسال أكبر عدد ممكن من الزوار إلى "الفائز" الاختلاف ممكن. تكمن مشكلة ماكينات الألعاب المتعددة في أن نتائجها ليست مؤشرات موثوقة للأداء طويل المدى ، لذا فإن حالة الاستخدام لهذه الأنواع من التجارب تقتصر على الحالات الحساسة للوقت مثل ترويج المبيعات.

بشكل أمثل ، على الرغم من وجود نوع مختلف من خوارزمية ماكينات الألعاب المتاحة للمستخدمين في الخطط الأعلى - Stats Accelerator (المعروف الآن باسم خيار "Accelerate Learnings" داخل Bandits). في هذا الإعداد ، بدلاً من محاولة تخصيص حركة المرور ديناميكيًا لأعلى شكل من حيث الأداء ، يخصص بشكل أمثل حركة المرور بشكل ديناميكي إلى الأشكال التي يُرجح أن تصل إلى الأهمية الإحصائية بشكل أسرع. بهذه الطريقة ، يمكنك التعلم بشكل أسرع ، والاحتفاظ بإمكانية تكرار نتائج اختبار A / B التقليدية.

الإستراتيجية رقم 4: أضف Emojis إلى أسماء المقاييس الخاصة بك

للوهلة الأولى ، ربما تبدو هذه الفكرة في غير محلها ، حتى أنها تافهة. ومع ذلك ، فإن أحد الجوانب الرئيسية للتأكد من أنك تقرأ نتائج التجربة الصحيحة يبدأ في التأكد من أن جمهورك يمكنه فهم السؤال. 

في بعض الأحيان ، على الرغم من الجهود التي نبذلها ، يمكن أن تصبح أسماء المقاييس محيرة (انتظر - هل يتم تشغيل هذا المقياس عند قبول الطلب ، أو عندما ينقر المستخدم على صفحة الشكر؟) ، أو أن التجربة تحتوي على العديد من المقاييس التي تمرر النتائج لأعلى ولأسفل تؤدي الصفحة إلى إجمالي الحمل المعرفي.

يمكن أن تؤدي إضافة الرموز التعبيرية إلى أسماء المقاييس الخاصة بك (الأهداف ، وعلامات الاختيار الخضراء ، وحتى حقيبة الأموال الكبيرة) إلى ظهور صفحات أكثر قابلية للفحص. 

ثق بنا - ستشعر أن قراءة النتائج أسهل بكثير.

الإستراتيجية رقم 5: أعد النظر في مستوى الدلالة الإحصائية الخاص بك

تعتبر النتائج حاسمة في سياق تجربة Optimizely عندما يتم الوصول إليها دلالة إحصائية. تعتبر الدلالة الإحصائية مصطلحًا رياضيًا صعبًا ، لكنها في الأساس احتمال أن تكون ملاحظاتك نتيجة اختلاف حقيقي بين مجموعتين من السكان ، وليست مجرد فرصة عشوائية. 

تعد مستويات الأهمية الإحصائية التي تم الإبلاغ عنها من Optimizely "صالحة دائمًا" بفضل مفهوم رياضي يسمى الاختبار المتسلسل - وهذا يجعلها في الواقع أكثر موثوقية بكثير من تلك الموجودة في أدوات الاختبار الأخرى ، والتي تكون عرضة لجميع أنواع مشكلات "الظهور" إذا قرأتها في وقت مبكر جدًا.

يجدر التفكير في مستوى الأهمية الإحصائية الذي تعتبره مهمًا لبرنامج الاختبار الخاص بك. على الرغم من أن 95٪ من القواعد المتعارف عليها في المجتمع العلمي ، فإننا نختبر تغييرات الموقع ، وليس اللقاحات. خيار شائع آخر في عالم التجارب: 90٪. لكن هل أنت على استعداد لقبول المزيد من عدم اليقين من أجل إجراء التجارب بشكل أسرع واختبار المزيد من الأفكار؟ هل يمكنك استخدام 85٪ أو حتى 80٪ دلالة إحصائية؟ إن التعمد بشأن رصيدك من المخاطرة والمكافأة يمكن أن يؤدي إلى أرباح هائلة بمرور الوقت ، لذا فكر جيدًا في هذا الأمر.

قراءة المزيد حول Optimizely Intelligence Cloud

ستكون هذه المبادئ والأفكار الخمسة السريعة مفيدة للغاية في وضعها في الاعتبار أثناء استخدام Optimizely. كما هو الحال مع أي أداة ، يتلخص الأمر في التأكد من حصولك على فهم جيد لجميع التخصيصات التي تتم خلف الكواليس ، بحيث يمكنك التأكد من أنك تستخدم الأداة بكفاءة وفعالية. من خلال هذه التفاهمات ، يمكنك الحصول على النتائج الموثوقة التي تبحث عنها ، عندما تحتاج إليها. 

ما رأيك؟

يستخدم هذا الموقع نظام Akismet لتقليل الرسائل الضارة. تعرف كيف تتم معالجة بيانات تعليقك.