5 причин не доверять результатам А/В-тестов

Специалист компании Dynamic Yield по маркетинговым вопросам и оптимизации конверсии Янив Навот решил выделить 5 причин, которые аргументируют почему же все-таки не следует верить итоговым данным А/В-тестирования. Будучи любителем таких тестов, он задумался, на что же они опираются и понял, что их опора это неизвестность. Он взялся исследовать наиболее популярные отчеты, которые включают в себя данные на эти тестирования. Существуют невероятно огромное количество интернет-ресурсов и прочих ресурсов, которые предоставляют демонстрацию немалого повышения прибыли и конверсии. Невзирая на то, что многие любят почитать похожие вещи, не следует упускать из внимания главные детали, из которых состоит общая картина, нужно с критикой относиться к предоставленным данным, методикам и простым догадкам. Каждая такая вещь должна сопровождаться стандартным предупреждением типа «Ни в коем случае не думайте, что получите какие-либо достоверные результаты на нашем сайте без собственного предварительного тестирования».

Таким образом, получается своеобразный «синдром слепоты», который состоит из 5-ти причин:

  • Рабочие способы для одного проекта не всегда подойдут для другого
  • Качество тестов нестабильно и изменчиво
  • Результаты проведенных экспериментов почти наверняка утратят свою уникальность в ближайшем времени
  • Использование неверных и неправдивых гипотез, а также выгодное и ложное предоставление результатов
  • Эксперименты, которые показали свою бесполезность и не очень хорошую работоспособность и вовсе не публикуются

Источник: http://www.dynamicyield.com