5 инкрементальных тестов в app-performance: какой выбрать и что важно учесть
Хорошие цифры в кабинетах и красивый CPA в отчёте ещё не означают, что канал реально растит бизнес. В мобильной рекламе это особенно заметно: часть источников "подбирает" конверсии, которые произошли бы и без них, - просто потому что оказалась ближе к событию и получила атрибуцию. Поэтому ключевой вопрос звучит так: даёт ли канал дополнительный результат или лишь перераспределяет уже существующий спрос? На него и отвечает инкрементальный анализ - оценка реального прироста (uplift) в тотальных метриках.
Ниже - практичный разбор подготовки к инкрементальному тесту и пяти популярных подходов: геотест, шахматный тест, Placebo Ads, Source-off анализ и holdout-тест для ремаркетинга.
---
Что важно предусмотреть до запуска: 8 критичных пунктов
1) Доля тестируемого источника в общем объёме
Если канал даёт слишком малую долю конверсий, вы просто не увидите изменения в total-метриках - они "утонут" в обычных колебаниях.
Ориентир: источник должен формировать хотя бы 8-10% целевого объёма (установок, регистраций, покупок или другого KPI). Иначе тест чаще покажет не "нулевую инкрементальность", а недостаточную чувствительность измерения.
2) Стабильность трафика до старта
Если кампания прямо сейчас обучается, резко масштабируется или переживает смену аукционных условий, вы сравните "два разных состояния" закупки, а не влияние рекламы на результат.
Практика: перед тестом нужно иметь несколько недель относительно ровной открутки и понятную динамику KPI.
3) Пересечения источников и переток конверсий
Когда несколько каналов работают на одном инвентаре, одной аудитории или по похожей логике показа, тестирование "по одному" легко приводит к переатрибуции: один источник выключили - другой забрал на себя события.
Что делать: источники с заметным пересечением лучше тестировать одновременно, либо временно фиксировать сопоставимые активности, либо заранее закладывать влияние смежных каналов в интерпретацию. Особенно важно для DSP, ретаргетинга и view-through механик.
4) Внешние воздействия в период эксперимента
Любые изменения медиамикса, новые CRM-активности, пуши, изменения ставок, ASO-работы или сезонные всплески спроса искажают разницу между тестом и контролем.
Правило: по возможности проводить тест в максимально стабильной среде.
5) Лаги, окна атрибуции и "дотекание" эффекта
В мобильном маркетинге результат не обрывается в момент выключения рекламы: часть конверсий приходит позже. Если это игнорировать, ON и OFF периоды начинают смешиваться, и чистота эксперимента падает.
Нужно учитывать: click-through и view-through атрибуцию, окно до целевого KPI и задержки воронки (особенно в ON/OFF сценариях).
6) Опора на total-метрики, а не на атрибутированные
Суть инкрементальности - не в том, сколько конверсий "записал на себя" канал, а в том, изменился ли общий результат бизнеса.
Фокус анализа: total installs / total purchase / first trip / целевой KPI. Дополнительно - динамика organic и изменение других paid-источников.
7) Длительность теста
Короткие эксперименты легко ломаются случайными колебаниями и "шумом".
Ориентир: для большинства задач закладывайте 2-4 недели. Быстрые тесты годятся как черновая проверка гипотез, но не как финальный вердикт.
8) Проверка качества трафика до эксперимента
Если вы изначально имеете дело с сомнительным инвентарём, инкрементальный тест может дать хаотичный результат.
Важно: не стоит тестировать "глобально" источники с долей фрода выше 20% - такой трафик обычно нестабилен и непрозрачен. Часто достаточно просто остановить закупку и посмотреть, изменились ли total-метрики.
---
Почему не существует универсального метода
Инкрементальность зависит от того, можно ли разделить аудиторию, насколько длинная воронка до KPI, какие данные доступны и как устроена атрибуция. Поэтому метод подбирают под задачу:
- UA (привлечение новых пользователей) - аудитория заранее неизвестна, разделение сложнее: чаще применяют геотест, шахматный тест, Placebo Ads и Source-off анализ.
- Ремаркетинг - аудитория уже есть, её можно разделить до старта: чаще всего эффективнее holdout-тест.
---
5 типов инкрементальных тестов: когда какой использовать
1) Геотест (Geo test)
Суть: делим страны/регионы на тест и контроль. В тестовой группе запускаем/усиливаем источник, в контрольной - сохраняем прежний уровень или выключаем. Сравниваем изменение total-метрик между гео с учётом сезонности и базовой динамики.
Когда подходит:
- есть достаточный объём в каждом регионе;
- продукт/цены/сезонность в гео сопоставимы;
- нужно оценить влияние источника на бизнес, не упираясь в ограничения атрибуции.
Риски и нюансы:
- гео могут отличаться поведением пользователей;
- важно избегать одновременных региональных промо и локальных всплесков спроса.
---
2) Шахматный тест (Chessboard test)
Суть: дробим эксперимент не только по гео, но и по времени (или делаем чередование включений в разных сегментах), чтобы снизить влияние случайных факторов. Получается "шахматная" матрица: часть сегментов - тест, часть - контроль, и это чередуется.
Когда подходит:
- трафик неоднородный и есть риск, что одно сравнение "гео vs гео" будет шумным;
- нужно усилить устойчивость вывода, распределив эффект по нескольким мини-сравнениям.
Что важно:
- заранее фиксировать правила переключений;
- следить за лагами: эффект не должен перетекать между клетками матрицы.
---
3) Placebo Ads (плацебо-реклама)
Суть: показываем объявления так, чтобы они минимально влияли на решение (например, нейтральные креативы, ограниченные условия показа), и сравниваем эффект с обычной рекламой. Идея - отделить "шум атрибуции" и сам факт контакта от реального убеждения.
Когда подходит:
- нужно понять, не "рисует" ли источник ценность за счёт механики трекинга/атрибуции;
- есть возможность управлять креативом и условиями закупки.
Ограничения:
- плацебо должно быть действительно плацебо, иначе тест превращается в сравнение двух креативных стратегий;
- важно сохранить сопоставимость по аукциону и аудиториям.
---
4) Source-off анализ (выключение источника)
Суть: на заранее выбранный период полностью отключаем источник и смотрим, как меняются total-метрики (и структура: organic/paid). Затем возвращаем источник и проверяем восстановление. Это один из самых прямых способов увидеть, что канал "добавляет", а что - только присваивает.
Когда подходит:
- источник достаточно крупный, чтобы его выключение было заметно;
- есть возможность безопасно остановить закупку без риска "сломать" долгосрочную стратегию.
Главный подводный камень:
- лаги и окна атрибуции: часть конверсий продолжит приходить после отключения, и если не заложить буфер, вывод будет искажён.
---
5) Holdout-тест для ремаркетинга
Суть: заранее делим известную аудиторию на две части: контроль (не показываем рекламу) и тест (показываем). Сравниваем разницу в целевых действиях и считаем uplift.
Почему это часто лучший вариант для ремаркетинга:
- аудитория известна и делится до контакта;
- меньше риска "перетока" между группами при корректной настройке;
- проще интерпретировать результат: рост в тесте относительно контроля и есть инкрементальность.
Что особенно важно:
- корректная рандомизация и чистота сегментов;
- одинаковые условия, кроме самого факта показа (частота, исключения, окна).
---
Как выбрать метод: быстрый ориентир
- Нужен ответ "канал вообще добавляет?" и канал крупный → Source-off.
- Есть несколько сопоставимых регионов и достаточный объём → Геотест.
- Сильный шум/неоднородность, хотите более устойчивую конструкцию → Шахматный тест.
- Подозрение на "переатрибуцию" и хочется отделить эффект контакта от эффекта убеждения → Placebo Ads.
- Ремаркетинг и можно честно разделить пользователей заранее → Holdout.
---
Частые ошибки, которые "убивают" инкрементальность (и как их избежать)
Ошибка 1: оценивать только атрибутированные конверсии.
Если источник теряет атрибуцию, это не значит, что бизнес потерял продажи. Всегда начинайте с total-метрик и только потом разбирайте расклад по каналам.
Ошибка 2: запускать тест на фоне больших изменений.
Пуши, акции, смена цен, резкое масштабирование - всё это делает контроль и тест несравнимыми. Лучше перенести эксперимент, чем получить красивую, но ложную цифру uplift.
Ошибка 3: игнорировать пересечения источников.
При выключении одного канала другой "подхватывает" аудиторию - и кажется, будто ничего не изменилось. На деле вы лишь перераспределили бюджет внутри одного и того же спроса.
Ошибка 4: слишком короткий горизонт.
Даже если хочется быстрых выводов, ориентир 2-4 недели обычно оправдан: так меньше риска принять недельный шум за закономерность.
---
Что добавить к плану теста, чтобы результат был полезен бизнесу
Заранее определите "успех" теста. Не только "uplift > 0", а конкретный порог: например, минимально приемлемый прирост total-покупок или допустимое изменение маржинальности.
Выберите основной KPI и вспомогательные метрики. Основной - тот, который отражает ценность (покупка/поездка/подписка). Вспомогательные - total installs, регистрации, доля organic, ARPU/ROAS по горизонту, отмены/возвраты, если это релевантно.
Продумайте пост-тестовое решение заранее. Если uplift положительный - будете масштабировать? Если нулевой - отключать или менять стратегию? Если отрицательный - в чём гипотеза: креативы, таргетинги, частота, пересечение с другими каналами?
Зафиксируйте неизменяемые условия. Частотные лимиты, бюджеты соседних каналов, ключевые сегменты, окна атрибуции - всё, что нельзя трогать в ходе теста, должно быть записано до старта, иначе вы не поймёте, что именно повлияло на результат.
---
Инкрементальные тесты нужны бизнесу, чтобы перестать "верить атрибуции на слово" и принимать решения на основе того, что действительно меняет общий результат. Правильно выбранный метод и дисциплина подготовки позволяют отличить каналы, которые создают дополнительный спрос, от тех, что просто перетягивают конверсии в отчётах - а значит, помогают перераспределять бюджеты в пользу реального роста.
