Обзвон базы: почему 300 контактов ничего не доказывают и сколько нужно на честный тест

Пробный обзвон базы на 300 контактов дал четыре заявки. Через неделю другой заход на таких же трёхстах дал семь. На совещании звучит вывод: второй сценарий сильнее почти вдвое, разворачиваем его на всю базу. Только обе цифры — это одно и то же число, которое дважды разошлось случайно, и решение принято по шуму.

Обзвон базы почти всегда начинают с куска: страшно пускать сырой заход на весь список, и это правильно. Вопрос в размере куска. Ниже расчёт на условных цифрах: сколько разговоров нужно, чтобы вилка перестала быть случайной, сколько это наборов и во что обходится.

Считать надо разговоры, а не строки выгрузки

Первая ошибка теста — считать его в контактах. Клиент слышит вопрос только в состоявшемся разговоре, и статистику даёт именно он.

Берём 300 наборов и дозваниваемость 25% — выходит 75 разговоров. При конверсии 6% это четыре-пять заявок. Одна заявка туда или сюда двигает результат на 1,3 процентных пункта, а таких случайных заявок в любой партии одна-две. Тест на трёхстах номерах измеряет везение конкретного дня, про качество сценария он не говорит ничего.

Сколько событий нужно, чтобы вилка сомкнулась

Рабочее правило простое: считайте события, проценты оставьте на конец. Событие — это заявка, целевой ответ, назначенная встреча. Пока их меньше двадцати, процент прыгает от партии к партии.

Дальше зависит от того, какую разницу вы хотите поймать.

• Разница вдвое (3% против 6%). Ловится примерно на 20 событиях в каждой ветке, это около двухсот разговоров на вариант.
• Разница на четверть (6% против 7,5%). Нужно раз в десять больше: полторы-две тысячи разговоров на вариант.
• Разница в один пункт (5% против 6%). На обзвоне такой тест не окупается: пока вы его наберёте, сценарий и рынок успеют поменяться.

Отсюда честный вывод: пробный срез умеет отвечать на вопрос «сломано или нет», а тонкую настройку он не измерит. Из этого и планируется объём.

Переводим разговоры в наборы и в деньги

Считаем один вариант на условных цифрах.

Нужно 200 разговоров. Дозваниваемость по серии попыток — 25%, значит наборов понадобится 800. Инициация стоит 1,80 ₽, все 800 наборов — это 1 440 ₽. Разговор длится в среднем полторы минуты: 200 разговоров это 300 минут, на тарифе «Старт» по 35 ₽ за минуту — 10 500 ₽.

Итого один вариант обходится примерно в 12 000 ₽ и требует 800 строк базы. Два варианта — 24 000 ₽ и 1 600 строк. Для ориентира: пилот с готовым сценарием и запуском на нашей стороне стоит 35 000 ₽ и покрывает до 1000 контактов.

Счёт разворачивается и в обратную сторону. Есть 6 000 ₽ на проверку — это 400 наборов и сотня разговоров, то есть шесть-семь заявок при конверсии 6%. Такой партией измеряется только явная поломка. Точность стоит денег линейно: вдвое уже вилка — вчетверо больше объём.

Отдельная строка расхода — сама база. 1 600 контактов, вынутых из базы на тест, потом нельзя обзвонить заново с тем же теплом, и в этом главная цена честного теста.

Как читать результат, когда он получен

Результат теста — это вилка, точки в нём нет. При 200 разговорах и 12 заявках получается 6%, и реальная цифра лежит где-то между 3% и 10%.

Дальше решает то, что вы с этой вилкой делаете. Планировать бюджет кампании стоит по нижней границе: если при 3% экономика не сходится, разворачивать обзвон на всю базу рано.

Сравнивать два варианта можно только тогда, когда их вилки не перекрываются. Вернёмся к примеру из начала. Четыре заявки из 75 разговоров дают вилку примерно от 1,5% до 13%, семь заявок — от 4% до 18%. Эти два отрезка почти совпадают, и «сильнее вдвое» тут просто не написано. Чтобы уверенно отличить 5% от 9%, нужны те самые двести разговоров в каждой ветке, то есть 1 600 наборов вместо шестисот.

Что делать, если такого объёма нет

Понизить требование к тесту. Триста наборов не измерят конверсию, зато покажут поломки, для которых статистика не нужна.

Ни одного разговора длиннее тридцати секунд из шестидесяти состоявшихся — это диагноз первой фразе, и он виден без всяких процентов. Одна и та же отговорка у каждого третьего собеседника — готовый пункт для правки сценария. Половина людей не понимает, о какой компании речь, — беда с поводом обращения. Такой срез стоит около 1 500 ₽ по инициациям плюс минуты и окупается сразу, потому что чинит очевидное. Почему сырой заход нельзя пускать на весь список сразу, разобрано отдельно.

Три условия, при которых врёт даже большой тест

• Выборка собрана по удобству. Взяли верх выгрузки, а там свежие заявки последней недели — тест покажет их конверсию, и на остальной базе цифра рассыплется. Строки берутся вперемешку по всей базе.
• Проход уложен в один день и одно окно. Вторник с 15 до 17 — это замер вторника, а не базы. Разрезы по времени и возрасту контакта разобраны в статье про недозвоны.
• Сценарий правился по ходу. Поменяли первую фразу на середине партии — считать по всей партии больше нельзя, счёт начинается заново.

Порядок теста на одной странице

• Назовите ожидаемую конверсию: 3%, 6%, 10%. Без неё объём не считается.
• Назначьте число событий: двадцать заявок на вариант для грубой развилки.
• Переведите в разговоры и наборы через свою дозваниваемость и посчитайте деньги.
• Зафиксируйте сценарий, окна времени и правило набора строк на весь проход.

Когда тест не нужен вовсе

База меньше тысячи контактов — тест съест её значимую часть, и остатка на кампанию не хватит. Сегмент узкий, в нём двести номеров — звоните всем и слушайте записи, процентов там не будет ни при каком раскладе.

И обратный случай. Заход уже обкатан на похожей базе, вы просто повторяете его на свежих контактах — считать заново нечего, тест здесь только тратит контакты.

Посчитайте на своих цифрах, во что обойдётся тестовый срез и сколько заявок он может дать