Роман Поборчий Роман Поборчий
Санкт-Петербург

В четверг, 7 июля, в 20:00 в петербургском офисе Oracle состоится встреча CodeFreeze с Романом Поборчим, экспертом по Java, качеству поиска и A/B тестированию. Тема встречи — грабли A/B тестирования.

Все изменения на вашем сервисе проходят через эксперимент на пользователях. Вы выкатываете только то, что показывает значимое улучшение целевой метрики. Да, у вас есть целевая метрика. Да, вы всё знаете про статистическую значимость, ну, по крайней мере слышали о ней.

Так почему же целевая метрика вашего сервиса сегодня находится точно на том же уровне, что и год назад?

Один из возможных ответов состоит в том, что в систему проведения экспериментов вкрались ошибки. Роман расскажет о некоторых типовых проблемах, с которыми сталкиваются практически все, кто начинает экспериментировать над пользователями. Кроме конкретных проблем мы поговорим об индикаторах, следя за которыми можно заметить, что что-то сломалось. Если в вашем проекте есть A/B тестирование, то по результатам рассказа вам наверняка захочется внести в него какие-то улучшения.

Последние видео

Присоединяйтесь!

Ссылки