AB тестирование сайта - метод сравнения двух версий страницы на живом трафике. Половина пользователей видит вариант A, половина - вариант B. Через 2-4 недели вы знаете, какой вариант приносит больше заявок. Без догадок и вкусовщины.
Гайд написан для маркетологов, владельцев бизнеса и продактов. Внутри - 8 этапов теста, расчёт выборки, разбор 5 ошибок, 6 готовых гипотез и FAQ. Время чтения - 13 минут.
Материал основан на практике Сайты2.рф. С 2008 года студия из Кронштадта запустила 550+ проектов, NPS 9,2, средний рост заявок ×2,4, CR 4,8%. В работе - Яндекс.Эксперименты, AB Tasty, Convert, Hotjar, Яндекс.Метрика, серверные тесты на Laravel и React.
Что такое A/B-тест и зачем он бизнесу
A/B-тест (или сплит-тест) - эксперимент, в котором случайным образом разделённые сегменты аудитории видят разные версии страницы. Версия A - контрольная (текущая). Версия B - тестируемая (с одним изменением). Цель - проверить гипотезу, а не угадать.
Что обычно тестируют:
- Заголовок первого экрана.
- Текст и цвет CTA-кнопки.
- Длину формы.
- Цены на странице тарифов.
- Структуру блоков.
- Видео против статичной картинки.
Бизнес выигрывает на двух уровнях. Краткосрочно - находит вариант с большей конверсией и фиксирует прирост выручки. Долгосрочно - копит базу знаний о своей аудитории. Через год тестов вы понимаете, что работает в вашей нише.
В нашей практике каждый второй A/B-тест даёт прирост 8-22% к целевой метрике. Каждый четвёртый - оказывается нулевым (null result). Каждый десятый - показывает падение и спасает от плохого решения.
Когда A/B нужен, а когда вреден
A/B полезен не всегда. Без подходящих условий тест даёт обманчивый результат или тянется месяцами без выводов.
Когда тестировать стоит
- На странице 5 000+ уникальных посетителей в месяц.
- Есть измеримая цель (заявка, покупка, регистрация).
- В Метрике или GA4 настроены цели, данные собираются корректно.
- Есть гипотеза, основанная на данных или интервью.
- Бизнес готов держать тест 14-30 дней без изменений.
Когда A/B бесполезен или вреден
- Трафик меньше 5 000 уников в месяц - до значимости не дотянуть.
- Нет гипотезы, "тестируем, что придумается".
- Сайт радикально сломан (баги, мобильная вёрстка) - чините, не тестируйте.
- Параллельно идут редизайн, рекламные кампании, сезонные распродажи.
- Цель эксперимента не настроена в системе аналитики.
Малому бизнесу с 1 000-3 000 уников в месяц A/B чаще не подходит. Используйте качественные методы: интервью, юзабилити-тесты, тепловые карты Hotjar. Подробно про настройку измерений - в статье Цели Яндекс.Метрики.
8 этапов A/B-теста
Этап 1. Сбор гипотез
Гипотеза - не "давайте поменяем кнопку". Гипотеза - "если заменим заголовок на упоминание срока 21 день, конверсия в заявку вырастет, потому что срок - главный страх клиента". Структура: причина + изменение + ожидаемый эффект.
Источники гипотез:
- Отчёты Метрики: страницы с высоким отказом, обрывы воронки.
- Тепловые карты Hotjar или Plerdy: где кликают, докуда скроллят.
- Записи сессий: где пользователи теряются.
- Опросы и интервью с клиентами и отказниками.
- Ошибки и возражения, которые слышит отдел продаж.
Хорошая гипотеза опирается минимум на 2 источника данных. На вкусовых "мне кажется, синий лучше" тесты сжигают бюджет.
Этап 2. Приоритизация по PIE или ICE
Гипотез всегда больше, чем ресурсов. Приоритизация - выбор той, что даст максимум при минимуме затрат.
PIE-фреймворк: Potential (потенциал прироста), Importance (важность страницы по трафику и выручке), Ease (простота реализации). Каждому критерию - оценка 1-10. Сумма даёт приоритет.
ICE-фреймворк: Impact, Confidence, Ease. Похоже на PIE, но Confidence отражает уверенность в успехе на основе прошлого опыта.
Тестируйте сначала гипотезы с 24+ баллами. Гипотезы 12-23 - в очередь. Меньше 12 - в архив.
Этап 3. Разработка варианта B
Меняйте только один элемент. Если в B одновременно поменялись заголовок, кнопка и форма, при росте конверсии непонятно, что сработало. При падении - то же.
Вариант B готовится в дизайне, потом размечается аналитиком: события, цели, сегменты для отчётов.
Этап 4. Расчёт объёма выборки
Без расчёта нельзя знать, сколько держать тест. Базовая формула учитывает текущую конверсию, минимальный детектируемый эффект (MDE) и уровень статистической значимости (95%).
Удобнее использовать готовые калькуляторы: Optimizely Sample Size Calculator, AB Tasty Calculator, калькулятор Evan Miller. Вводите текущий CR (например, 3,5%), MDE (например, 15% относительный прирост) и значимость 95%. Получаете нужное число посетителей на каждый вариант.
Пример: при CR 3% и желании поймать прирост 20% нужно ~12 000 посетителей на каждый вариант. То есть 24 000 уников всего, при равномерном делении 50/50.
Этап 5. Запуск через инструмент
Технически тесты делятся на клиентские и серверные.
Клиентские: инструмент подменяет HTML/CSS на стороне браузера через JS-сниппет. Подходит для контента, цветов, расположения блоков. Минус - flicker (мелькание оригинала перед подменой).
Серверные: разные версии возвращает бэкенд. Без мелькания, можно тестировать целые страницы и логику. Сложнее в реализации, нужен разработчик.
Для большинства маркетинговых тестов подходят клиентские: Яндекс.Эксперименты (бесплатно), AB Tasty, Convert, VWO. Для тестов архитектуры или сложной логики - серверные на Laravel, Node.js, Python.
Этап 6. Сбор данных не менее 14 дней
Минимальный срок - 14 дней, чтобы захватить полный недельный цикл. Лучше 21-28 дней. Поведение в будни и выходные отличается, и без полной недели вы получите смещённый результат.
Не останавливайте тест раньше срока, даже если кажется, что вариант B "победил". Это частая ошибка - peeking. О ней - в разделе про ошибки.
Этап 7. Проверка статистической значимости
После окончания срока проверяете p-value или confidence level. Уровень доверия должен быть не ниже 95%. Это означает: вероятность того, что результат случайный, не больше 5%.
Большинство инструментов считают значимость автоматически. Вручную можно проверить через калькулятор Z-теста или Хи-квадрат для двух пропорций.
Если значимость 80-94% - тест неубедителен. Либо продлите его (если позволяет трафик), либо признайте null result.
Этап 8. Решение и масштабирование
Победитель внедряется на 100% трафика. Результаты теста заносятся в базу гипотез. Через месяц замеряете эффект на реальной выручке - совпал ли с прогнозом.
Если победил вариант B с приростом 18% - это не финал, а старт следующих гипотез. Можно ли усилить эффект, добавив похожие изменения на других страницах? Про то, как растить конверсию системно, - в материале Конверсия сайта: 14 способов.
6 готовых гипотез для теста
Список протестированных и подтверждённых гипотез. Не гарантия результата, но рабочий стартовый пул.
Гипотеза 1. CTA "Заказать" против "Получить расчёт"
Глагол давления заменяется на глагол ценности. В наших тестах "Получить расчёт за 24 часа" даёт +12-19% к кликам по сравнению с "Заказать сайт".
Гипотеза 2. Заголовок-результат против заголовка-услуги
"Разработка сайтов" заменяется на "Сайт за 21 день с гарантией заявок". Заголовок-результат выигрывает у заголовка-услуги в 6 случаях из 10. Особенно сильно на холодном трафике из контекста.
Гипотеза 3. Цены на странице против "Цена по запросу"
Контринтуитивно: показ цен (даже от-цен) часто увеличивает конверсию в заявку. Скрытые цены отпугивают. Тест полезен на корпоративных сайтах и в B2B.
Гипотеза 4. Короткая форма против длинной
Форма из 3 полей (имя, телефон, задача) против формы из 7 полей. Короткая форма даёт больше заявок на 25-40%, но качество лидов ниже на 10-20%. Считайте по выручке, а не по числу заявок.
Гипотеза 5. Сторителлинг против списка фич
Лендинг с историей клиента (проблема, решение, результат) против лендинга с табличкой возможностей. На сложных продуктах сторителлинг часто выигрывает в 1,5-2 раза.
Гипотеза 6. Видео против статичного баннера
Видеообложка первого экрана против статичной иллюстрации. Эффект разный по нишам: в услугах видео часто проигрывает (отвлекает), в товарах - выигрывает.
Эти гипотезы хорошо ложатся на лендинги и корпоративные сайты. Для интернет-магазинов добавляются тесты карточек товара и оформления заказа. Подробнее по типам - в Услугах студии и в разделе Корпоративные сайты.
Инструменты A/B-тестирования в 2026
Российский рынок изменился. Google Optimize закрыт ещё в 2023. Часть западных инструментов недоступна или работает с ограничениями.
Доступные в России
- Яндекс.Эксперименты. Бесплатно, нативно работает с Метрикой и Директом. Подходит для большинства задач. Минус - меньше визуального редактора, чем у платных.
- AB Tasty. Платный международный инструмент. На 2026 работа в РФ возможна, но оплата затруднена.
- Convert.com. Платный, аналог VWO. Принимает оплату по картам РФ через посредников.
- VWO. Один из лидеров рынка. Доступ из РФ - через VPN, оплата - сложности.
- Optimizely. Корпоративный сегмент. С 2022 ушёл из РФ, заходить можно только через зарубежные юрлица.
Серверные решения
Для крупных проектов и нестандартных гипотез делаем серверные тесты на Laravel или Node.js с собственной системой распределения трафика. Управление - через админку, аналитика - через Метрику и BigQuery. Подходит для интернет-магазинов от 50 000 SKU и сложных воронок. См. Интернет-магазины.
Совмещение с тепловыми картами
A/B показывает "что выиграло". Тепловые карты показывают "почему". Hotjar, Clarity (Microsoft, бесплатно), Plerdy. Связка A/B + heatmap даёт полную картину поведения.
Связка A/B-теста с воронкой и сквозной аналитикой раскрыта в материале Сквозная аналитика.
5 ошибок, которые убивают тест
Ошибка 1. Peeking - подглядывание раньше срока
Каждый день смотрите на промежуточные результаты и решаете остановить тест досрочно, "когда B лидирует на 15%". Через неделю выяснится, что лидерство было случайным. Решение: фиксированная длительность 14-28 дней, без досрочной остановки.
Ошибка 2. Недостаточный объём выборки
Тест запустили на странице с 800 уников в месяц. Через 3 месяца получили "B лучше на 30%", но при таком объёме это шум. Решение: считать выборку до старта. Если нужно 10 000 уников, а в наличии 800, тест не проводится.
Ошибка 3. Тестирование нескольких изменений одновременно
В варианте B одновременно: новый заголовок, новая кнопка, новая форма, новый цвет. Если конверсия выросла, непонятно, что сработало. Если упала - тоже. Решение: один тест - один элемент. Для нескольких изменений сразу - Multivariate.
Ошибка 4. Неучтённая сезонность
Тест запустили 25 декабря, остановили 5 января. В выборку попали праздники, когда поведение пользователей нетипичное. Решение: избегать праздников, чёрной пятницы, отпускных периодов. Проводить тест полным недельным циклом или его кратным.
Ошибка 5. Множественные тесты на одной аудитории
Параллельно идёт 5 тестов на одной странице. Тесты пересекаются, аудитория видит случайные комбинации. Результаты искажены. Решение: либо последовательно, либо через инструменты с управлением пересечением (mutex-группы в AB Tasty, Convert).
К ошибке 5 примыкает проблема ложных срабатываний при множестве гипотез. Если запустили 20 тестов одновременно, минимум один покажет "значимый" результат случайно. Защита - поправка Бонферрони или контроль частоты ложных открытий (FDR).
Что делать с null result
Null result - тест показал, что разницы между A и B нет. Это не поражение, а ценный результат.
Что даёт null result:
- Гипотеза опровергнута, ресурсы не тратятся на масштабирование.
- База знаний пополняется фактом "в нашей аудитории кнопка цвета не влияет".
- Бюджет освобождается для следующей гипотезы с большим потенциалом.
Что не делать: не повторять тот же тест "вдруг получится", не подгонять данные, не объявлять победителем вариант с меньшим преимуществом без значимости.
В нашей практике 25-30% тестов дают null result. Это норма, а не провал. Бизнесы, которые принимают такой результат как часть процесса, тестируют дальше и в итоге находят сильные гипотезы.
Альтернативы A/B: Multivariate и Bandit
A/B - не единственный метод. Под разные задачи есть свои инструменты.
Split-URL тест
Тест двух разных страниц по двум URL. Подходит для радикальных редизайнов, когда меняется всё. Используется при редизайне сайта - тестируете старую версию против новой на части трафика.
Multivariate (MVT)
Тест нескольких элементов одновременно с проверкой комбинаций. Заголовок (3 варианта) × Кнопка (2 варианта) × Картинка (2 варианта) = 12 комбинаций. Нужен большой трафик: от 50 000 уников/мес.
Multi-Armed Bandit
Алгоритм автоматически перераспределяет трафик к лидирующему варианту в реальном времени. Подходит для краткосрочных кампаний (распродажа на неделю), где важно не потерять выручку, пока тест идёт. Минус - меньшая статистическая строгость.
Для большинства задач малого и среднего бизнеса A/B остаётся базовым инструментом. MVT и Bandit - для проектов с большим трафиком и опытной командой аналитиков.
Сколько стоит A/B-программа
Стоимость складывается из лицензии инструмента и менеджмента (стратегия, разработка вариантов, разбор результатов).
Инструмент
- Яндекс.Эксперименты - бесплатно.
- AB Tasty - от 1 500 $/мес.
- Convert - от 99 $/мес для малого бизнеса.
- VWO - от 199 $/мес.
- Серверная система - разовая разработка от 80 000 ₽.
Менеджмент
- Базовый пакет: 2-3 теста в месяц - 40 000-60 000 ₽/мес.
- Расширенный: 4-6 тестов, MVT, аналитика - 80 000-120 000 ₽/мес.
- Корпоративный: команда CRO-аналитика, 8+ тестов - 150 000-180 000 ₽/мес.
Окупаемость A/B-программы - 3-6 месяцев при текущей выручке от 1 млн ₽/мес. На меньших объёмах эффект есть, но абсолютные суммы прироста не покрывают стоимость работ.
Про форматы сотрудничества и фиксацию KPI - на странице SEO-продвижение и в Поддержке и доработке сайтов. Готовый пример роста заявок на цифрах - в кейсе фитнес-клуба.
FAQ
За сколько времени можно получить результат A/B-теста
Минимум 14 дней при достаточном трафике. Стандартный срок - 21-28 дней. Если трафик меньше расчётного, тест растягивается на 1,5-3 месяца.
Можно ли тестировать на маленьком трафике до 5 000 уников
Технически - да, но статистически - нет. На таком объёме разница в 10-15% не отличается от случайности. Используйте качественные методы: интервью, юзабилити-тесты, аналитику Метрики.
Как защититься от мелькания варианта в клиентских тестах
Загружайте сниппет инструмента синхронно в <head>, до отрисовки контента. Используйте антифликер-снипет (anti-flicker snippet). При сложных тестах переходите на серверные.
Можно ли тестировать несколько страниц одновременно
Можно, если аудитория не пересекается или используются mutex-группы. Параллельно безопасно вести 2-3 независимых теста. Больше - риск загрязнения данных.
Что делать, если результаты противоречат данным Метрики
Сверяйте источники. Расхождение возможно из-за разной модели атрибуции, фильтров, дат. Обычно прав инструмент A/B, потому что считает по своей выборке. Метрика даёт общую картину.
Нужен ли A/B-тест после редизайна сайта
Желательно. Перед полным релизом редизайна запустите split-URL тест: 50% трафика на новую версию, 50% на старую. Через 2-4 недели оценка по выручке. Это страховка от падения. Подробно по этапам - в материале Этапы разработки сайта.
Что в итоге
AB тестирование сайта - 8 этапов работ от сбора гипотез до масштабирования победителя. Без расчёта выборки, без статистической значимости и без дисциплины тест превращается в дорогую гадалку. С правильной методикой даёт +8-22% к конверсии в среднем по тестам и накапливает базу знаний о вашей аудитории.
Если хотите запустить A/B-программу на своём сайте в Санкт-Петербурге, в Сайты2.рф настраиваем процесс под ключ. Студия в Кронштадте, опыт с 2008 года, 550+ проектов, средний рост заявок ×2,4, NPS 9,2. Работаем с клиентами из СПб, Гатчины, Сосновый Бор и Выборга. Бесплатная диагностика воронки за 48 часов.
Заказать настройку A/B-тестов - Рассчитать стоимость через калькулятор - Telegram: @t9424744 - +7 (812) 942-47-44
