Optimally Intelligence Cloud: A/B ақылды және жылдамырақ тестілеу үшін статистикалық жүйені қалай пайдалану керек

Stats Engine және A/B тестілеу стратегияларын оңтайландырыңыз

Егер сіз өзіңіздің бизнесіңізді тексеруге және үйренуге көмектесу үшін эксперимент бағдарламасын іске қосқыңыз келсе, сіз оны қолданатын шығарсыз Оңтайландырылған интеллект бұлты - немесе сіз, кем дегенде, қарадыңыз ба? Optimizely - бұл ойынның ең қуатты құралдарының бірі, бірақ кез келген басқа құрал сияқты, егер сіз оның қалай жұмыс істейтінін түсінбесеңіз, оны қате қолдана аласыз. 

Optimizly -ді соншалықты күшті ететін не? Мүмкіндіктер жиынтығының негізінде үшінші тарап құралындағы ең ақпараттандырылған және интуитивті статистикалық қозғалтқыш жатыр, бұл сіздің нәтижелеріңізді қате түсіндіріп жатырсыз деп алаңдамай-ақ, маңызды тесттерді тікелей эфирде алуға көбірек назар аударуға мүмкіндік береді. 

Дәстүрлі медицинадағы соқыр зерттеу сияқты, A / B тестілеу кездейсоқ әр түрлі көрсетеді емдеу әр емнің тиімділігін салыстыру үшін сіздің сайтыңызды әр түрлі пайдаланушыларға жіберіңіз. 

Статистика емнің ұзақ мерзімді перспективада қаншалықты тиімді болатыны туралы қорытынды жасауға көмектеседі. 

A/B тестілеу құралдарының көпшілігі статистикалық қорытындылардың екі түрінің біреуіне сүйенеді: жиі немесе байес статистикасы. Әр мектептің әр түрлі артықшылықтары мен кемшіліктері бар - жиіліктік статистика эксперимент жүргізер алдында үлгінің мөлшерін бекітуді талап етеді, ал Байес статистикасы негізінен әсер ету үшін бір фигураны көрсетуден гөрі, жақсы бағытты шешімдер қабылдауға қамқорлық жасайды. Optimizely суперқуаты - бұл қазіргі нарықтағы жалғыз құрал екі дүниенің ең жақсысы тәсіл.

Соңғы нәтиже? Оңтайландыру қолданушыларға эксперименттерді жылдамырақ, сенімді және интуитивті жүргізуге мүмкіндік береді.

Мұны толық пайдалану үшін, артта не болып жатқанын түсіну маңызды. Міне, сізге Optimizely мүмкіндіктерін кәсіби маман ретінде қолдануға мүмкіндік беретін 5 түсінік пен стратегия.

№1 стратегия: Барлық көрсеткіштер бірдей емес екенін түсініңіз

Тестілеу құралдарының көпшілігінде, әдетте, байқалмайтын мәселе - тесттің бөлігі ретінде өлшеуіштерді қосқан сайын және бақылайтын болсаңыз, кездейсоқ кездейсоқтықтан қате қорытындыларды көру ықтималдығы жоғары болады (статистикада бұл «бірнеше тестілеу мәселесі» деп аталады) »). Нәтижелердің сенімді болуын қамтамасыз ету үшін, Optimizely мүмкіндігін азайту үшін бақылау мен түзетулерді қолданады. 

Оңтайландыруда тесттерді орнатуға барғанда, бұл басқару элементтері мен түзетулердің екі әсері бар. Біріншіден, сіз көрсететін көрсеткіш Негізгі көрсеткіш статистикалық маңыздылыққа тезірек жетеді, қалғандары тұрақты. Екіншіден, экспериментке неғұрлым көп көрсеткіштер қоссаңыз, статистикалық маңыздылыққа жету үшін сіздің кейінгі көрсеткіштеріңіз соғұрлым ұзақ болады.

Экспериментті жоспарлау кезінде шешім қабылдау процесінде сіздің шынайы Солтүстік болатындығыңызды білетіндігіңізге көз жеткізіңіз, бұл сіздің негізгі көрсеткішіңізге айналады. Содан кейін, тым артық немесе тангенциалды алып тастау арқылы қалған көрсеткіштер тізімін бос ұстаңыз.

№2 стратегия: Өзіңіздің жеке атрибуттарыңызды құрыңыз

Оңтайландыру сізге эксперимент нәтижелерін сегменттеудің бірнеше қызықты және пайдалы әдістерін беруде тамаша. Мысалы, сіз белгілі бір процедуралардың жұмыс үстелі мен мобильдіге қарағанда жақсы жұмыс істейтінін тексере аласыз немесе трафик көздеріндегі айырмашылықты байқай аласыз. Сіздің эксперименттік бағдарламаңыз жетіле бастағанда, сіз тез арада жаңа сегменттерді қалайтын боласыз-бұл сіздің пайдалану жағдайыңызға тән болуы мүмкін, мысалы, жазылымды бір реттік сатып алуға арналған сегменттер немесе «жаңа және келушілерге қарсы» сияқты жалпы Шынымды айтсам, неге бұл қораптан шығарылмағанын әлі де анықтай алмаймыз).

Жақсы жаңалық - Optimizly жобасының Javascript өрісі арқылы Optimizely -мен таныс инженерлер келушілерге тағайындалатын және сегменттелетін кез келген қызықты әдет -ғұрыптарды құра алады. Cro Metrics -те біз барлық клиенттерімізге олардың Javascript жобасы арқылы орнататын көптеген қор модульдерін құрдық (мысалы, «жаңа және келушілер»). Бұл мүмкіндікті пайдалану - бұл оларды орындауға көмектесетін техникалық ресурстары бар жетілген командалар мен эксперименттердің барлық мүмкіндіктерін іске асыру үшін күресетін командалар арасындағы негізгі айырмашылық.

№3 стратегия: Optimizely's Stats Accelerator зерттеңіз

Жиі тексерілетін құралдардың бір ерекшелігі-бұл «көп қарулы бандиттерді» қолдану мүмкіндігі, бұл сіздің трафигіңіз эксперимент кезінде бөлінген жерде динамикалық түрде өзгеретін машиналық оқыту алгоритмі, «жеңіске» келушілерді жіберу үшін. мүмкіндігінше вариация. Көп қарулы қарақшылардың мәселесі олардың нәтижелері ұзақ мерзімді қызметтің сенімді көрсеткіштері болып табылмайтындығында, сондықтан эксперименттердің бұл түрлерін қолдану жағдайлары сатылымды жылжыту сияқты уақытқа сезімтал жағдайлармен шектеледі.

Оңтайландырылған түрде, жоғары жоспардағы пайдаланушыларға қол жетімді бандит алгоритмінің басқа түрі бар - Stats Accelerator (қазір Bandits ішіндегі «Оқуды жеделдету» деп аталады). Бұл қондырғыда трафикті жоғары өнімділікке динамикалық түрде бөлуге тырысудың орнына, статистикалық мәнге тез жететін вариацияға трафикті динамикалық түрде оңтайландырады. Осылайша сіз тезірек үйрене аласыз және дәстүрлі A/B тест нәтижелерінің қайталануын сақтай аласыз.

№4 стратегия: Эмодзилерді метрикалық атауларға қосыңыз

Бір қарағанда, бұл идея орынсыз болып көрінуі мүмкін, тіпті ақылсыз. Дұрыс эксперимент нәтижелерін оқығаныңызға сенімді болудың негізгі аспектісі аудиторияның сұрақты түсінетініне көз жеткізуден басталады. 

Кейде біз қанша тырысқанымызға қарамастан, метрикалық атаулар шатастыруы мүмкін (күте тұрыңыз - тапсырыс қабылданған кезде немесе қолданушы алғыс бетін басқан кезде бұл көрсеткіш өртене ме?) Немесе экспериментте нәтижелерді жоғары және төмен айналдыратын көптеген көрсеткіштер бар бет когнитивті шамадан тыс жүктеуге әкеледі.

Метрика атауларына эмодзилерді қосу (нысандар, жасыл белгілер, тіпті үлкен ақша сөмкесі жұмыс істей алады) әлдеқайда сканерленетін беттерге әкелуі мүмкін. 

Бізге сеніңіз - нәтижелерді оқу әлдеқайда жеңіл болады.

№5 стратегия: Статистикалық маңыздылық деңгейін қайта қарастырыңыз

Нәтижелер Optimizely экспериментінің контекстінде олар жеткен кезде түпкілікті болып саналады статистикалық маңыздылығы. Статистикалық маңыздылық - бұл қатаң математикалық термин, бірақ бұл сіздің бақылауларыңыз кездейсоқ кездейсоқтық емес, екі популяция арасындағы нақты айырмашылықтың нәтижесі болу ықтималдығы. 

Оптимизацияланған статистикалық маңыздылық деңгейлері математикалық тұжырымдаманың арқасында «әрқашан жарамды» дәйекті тестілеу - бұл оларды басқа тестілеу құралдарына қарағанда әлдеқайда сенімді етеді, егер сіз оларды тез оқитын болсаңыз, «қарауға» болатын барлық мәселелерге бейім.

Сіз тестілеу бағдарламасы үшін статистикалық маңыздылықтың қандай деңгейін маңызды деп санайтыныңызды қарастырған жөн. Ғылыми қоғамдастықтың 95% конвенциясы болғанымен, біз вакциналарды емес, веб -сайттағы өзгерістерді тексереміз. Эксперименталды әлемдегі тағы бір кең таралған таңдау: 90%. Бірақ сіз эксперименттерді тезірек жүргізу және көбірек идеяларды тексеру үшін белгісіздікке көнуге дайынсыз ба? Сіз 85% немесе 80% статистикалық маңыздылықты қолдана аласыз ба? Тәуекел-сыйақы балансына әдейі қарау уақыт бойынша экспоненциалды дивидендтер төлей алады, сондықтан мұны мұқият ойластырыңыз.

Optimizly Intelligence Cloud туралы толығырақ оқыңыз

Бұл бес жылдам қағидаттар мен түсініктер Optimizely пайдалану кезінде есте сақтау үшін өте пайдалы болады. Кез келген құрал сияқты, бұл сіздің барлық сахна артындағы теңшелімдерді жақсы түсінетіндігіңізге көз жеткізу үшін қажет, сондықтан сіз бұл құралды тиімді және тиімді қолданғаныңызға көз жеткізе аласыз. Осы түсініктермен сіз қажет болған кезде сенімді нәтижеге қол жеткізе аласыз. 

Сен не ойлайсың?

Бұл сайт спамның төмендеуі үшін Akismet пайдаланады. Деректеріңіздің қалай өңделетінін біліңіз.