Почему прослушивание пяти звонков в неделю ничего не даёт

Пять менеджеров по двадцать звонков в день — это пятьсот разговоров в неделю. Руководитель слушает пять. Это один процент.

Теперь представьте, что у одного из менеджеров проблема появляется в каждом десятом звонке. Не в каждом — в каждом десятом, то есть примерно десять раз в неделю. Шанс, что она попадёт в вашу выборку из пяти случайных звонков, невелик, а шанс попасть дважды, чтобы вы заметили закономерность, а не случай, — совсем маленький.

Отсюда главный вывод: выборка такого размера не отвечает на вопрос «что происходит в отделе». Она отвечает на вопрос «что было в этих пяти разговорах». Это разные вопросы, и подменять один другим — самая дорогая ошибка в контроле качества.

Если бы звонки выбирались действительно случайно, картина была бы просто неточной. Но на практике выбор смещён, причём всегда в одну сторону.

Первое: перестать делать вид, что выборка — это контроль. Она полезна как источник живых примеров для разбора, но не как способ узнать состояние дел. Как только это разделение проведено, исчезает ложное спокойствие.

Второе: заменить случайную выборку осмысленной. Не «пять любых», а «все звонки короче тридцати секунд за неделю» или «все разговоры, после которых сделка не сдвинулась». Такая выборка того же размера отвечает уже на конкретный вопрос.

Третье: разделить два разных дела. Формальные признаки — доля речи, была ли названа дата следующего шага, прозвучало ли возражение и что за ним последовало, заполнена ли карточка — считаются по всем разговорам без участия человека. А выборку человек слушает не чтобы измерять, а чтобы понять смысл: почему именно здесь всё пошло не так.

Разница в результате не в том, что руководитель узнаёт больше. Разница в том, что он перестаёт узнавать это последним — после того, как клиент уже ушёл к конкуренту, а сделка закрыта с комментарием «дорого».