Jak sprawdzić, czy voicebot naprawdę pomaga

Punktem odniesienia są liczby zebrane przed startem

Audyt macie z lekcji drugiej: połączenia dziennie, nieodebrane, średni czas rozmowy i trzy dni notowania, z czym ludzie dzwonią. To jest stan zero i nie ma sensu mierzyć go po raz drugi w innej formie. Dwa różne zdjęcia sprzed startu blokują potem decyzję równie skutecznie jak brak zdjęcia, bo na spotkaniu każdy wybiera to, które pasuje mu do tezy. Reszta tej lekcji dotyczy już tego, co widać dopiero po uruchomieniu.

Po uruchomieniu tego stanu już nie odtworzycie i to jest cały problem. Ruch się zmienia. Ludzie, którzy wcześniej rezygnowali po czwartym sygnale, teraz się dodzwaniają, więc liczba obsłużonych spraw rośnie z powodu, który nie ma nic wspólnego z jakością agenta. Bez punktu odniesienia zostaje porównywanie nowych danych z pamięcią, a pamięć jest łaskawa dla decyzji, które sami podjęliśmy.

Powiemy szczerze: sporo firm startuje bez tych liczb, także u nas. Potem, po trzech miesiącach, pada pytanie „czy to się opłaciło” i nie ma z czym zestawić odpowiedzi. Zostaje wrażenie recepcji, że jest spokojniej. Bywa, że to dobry sygnał, tylko nikt nie zbuduje na nim decyzji o rozszerzeniu wdrożenia na drugi oddział.

Co oglądać po uruchomieniu

Po starcie liczy się jedno pytanie: ile spraw zostało załatwionych do końca bez udziału człowieka. Zanim ktokolwiek wpisze to do raportu, ustalcie kryterium i już go nie ruszajcie. Nasze brzmi tak: sprawa jest załatwiona, gdy rozmowa skończyła się bez przekazania do konsultanta i tego samego dnia nikt z tego numeru nie oddzwonił w tej samej sprawie. Bez drugiego warunku liczycie rozmowy, które się po prostu urwały. Resztę rozbijcie na pozycje, bo średnia potrafi ukryć problem wracający codziennie o tej samej porze.

Teraz metryka, przy której trzeba uważać, bo świetnie wygląda w raporcie i nie znaczy nic. „Odebranych 100 procent połączeń” mierzy tyle, że system istnieje i się nie wywrócił. Automat zawsze odbierze. W tej samej rodzinie jest liczba obsłużonych rozmów podana bez informacji, ile z nich skończyło się czymkolwiek konkretnym.

Eskalacja do człowieka nie jest porażką. Agent, który po dwóch nieudanych próbach zrozumienia przełącza rozmowę dalej, zachowuje się poprawnie. Niepokoić powinny dwie inne rzeczy: eskalacja przy pytaniu, które agent miał obsługiwać od pierwszego dnia, oraz cicha porażka, czyli rozmówca odkłada słuchawkę, a statystyka zapisuje rozmowę jako zakończoną. Dlatego w panelu oglądamy co tydzień te same pozycje.

• Rozmowy domknięte bez przekazania do człowieka i bez oddzwonienia z tego samego numeru w tej samej sprawie jeszcze tego samego dnia
• Eskalacje z podziałem na powód: agent nie zrozumiał, zabrakło danych w systemie, rozmówca od razu poprosił o człowieka, sprawa wykraczała poza zakres
• Rozłączenia w pierwszych kilkunastu sekundach, bo to zwykle reakcja na samo powitanie

Miary, które mylą, i czym je zastąpić

Średni czas rozmowy jest w tej rodzinie najbardziej podstępny, bo spada z dwóch przeciwnych powodów. Albo agent szybciej dochodzi do sedna. Albo ludzie odkładają słuchawkę po trzydziestu sekundach. Średnia w obu przypadkach wygląda tak samo, rozkład już nie. Wystarczy sprawdzić, ile rozmów mieści się poniżej minuty, żeby odróżnić jedno od drugiego. My oglądamy medianę i ogon powyżej trzech minut, samej średniej nie ruszamy.

Druga pułapka to ankieta na końcu rozmowy. Odpowiada na nią garstka i zwykle są to ludzie z krańców skali, więc dostajecie wynik piękny albo dramatyczny, w obu przypadkach zbudowany na kilku osobach. Jeśli ją zostawiacie, traktujcie ją jak źródło cytatów, nie jak wskaźnik. Jedno zdanie wpisane przez zirytowanego klienta bywa warte więcej niż średnia ocena z całego miesiąca.

Trzecia rzecz przychodzi od strony technicznej i brzmi poważnie, bo ma dwa miejsca po przecinku. Dostawcy silników mowy podają skuteczność rozpoznawania. Ta liczba mówi, czy system poprawnie zapisał słowa, a nie czy zrozumiał, o co człowiek prosi. Rozmówca powie wyraźnie „chciałbym przełożyć to, co miałem w piątek”, transkrypcja wyjdzie bezbłędna, a agent i tak nie skojarzy, o którą wizytę chodzi. To parametr do szukania usterek, nie do slajdu dla zarządu.

Jest za to miara, której prawie nikt nie liczy, a stoi najbliżej pytania „czy to się opłaca”. Koszt jednej domkniętej sprawy, czyli miesięczne utrzymanie plus rachunek za minuty, podzielone przez liczbę spraw zamkniętych bez człowieka. Przy utrzymaniu za 249 zł netto i pięciuset domkniętych sprawach w miesiącu samo utrzymanie kosztuje pół złotego na sprawę. Przy trzydziestu sprawach to już ponad osiem złotych i minuty dochodzą osobno. Ta jedna liczba zamyka dyskusję szybciej niż godzinna prezentacja z wykresami.

• Liczba obsłużonych rozmów w miesiącu. Rośnie razem z ruchem i sezonem, więc opisuje głównie to, ile razy zadzwonił telefon
• Czas oczekiwania na połączenie. Spada do zera pierwszego dnia, bo automat odbiera od razu, i potem nie powie już nic
• Liczba rozpoznanych intencji w panelu. Mówi, ile razy agent coś dopasował, nie ile razy dopasował dobrze
• Wrażenie z demo przed startem. To ocena scenariusza, nie rozmowy z kimś, kto dzwoni z peronu i ma minutę do odjazdu

Raz w tygodniu posłuchajcie prawdziwych rozmów

Panel z liczbami pokaże, ile spraw zamknięto bez człowieka. Nie pokaże, że agent po trzeciej minucie zaczyna mówić za szybko, że powitanie jest o zdanie za długie albo że codziennie ktoś pyta o rzecz, której w scenariuszu nigdy nie było. To słychać dopiero w nagraniu. Dziesięć losowych rozmów tygodniowo plus wszystkie zakończone eskalacją to rozsądna próbka na początek.

Ważne, kto słucha. Najwięcej wyłapie osoba z pierwszej linii, nie właściciel. Recepcjonistka po piętnastu sekundach wie, czego klient naprawdę chciał, i wyłapie ton, który dla nas brzmi neutralnie, a dla dzwoniącego opryskliwie. Po pierwszym miesiącu można zejść do próbki co dwa tygodnie, bo najgrubsze błędy są już wtedy wyłapane.

Z odsłuchu ma powstać lista poprawek uporządkowana według liczby powtórzeń, a nie według tego, co najbardziej zirytowało szefa. Zwykle w pierwszych tygodniach zbiera się kilkanaście drobiazgów i dwie większe zmiany w scenariuszu. To normalna część utrzymania, które kosztuje 249, 499 albo 799 zł netto miesięcznie zależnie od zakresu, i właśnie za to się w nim płaci.

Ile trzeba czekać, zanim liczby coś znaczą

Dane z pierwszych dwóch dni wyrzućcie. Dzwonią wtedy pracownicy, znajomi pracowników i ktoś z zarządu, kto chce sprawdzić, czy agent pozna jego nazwisko. To nie jest ruch, to zwiedzanie. Normalne rozmowy zaczynają się wtedy, gdy przestaje być ciekawie, zwykle w drugim tygodniu.

Dalej liczy się nie kalendarz, tylko liczba rozmów w konkretnej kategorii. Cztery tygodnie przy trzydziestu połączeniach dziennie to zupełnie inna próbka niż cztery tygodnie przy pięciu. Nasza reguła kciuka, wzięta z doświadczenia, a nie z podręcznika statystyki: żeby powiedzieć cokolwiek o jednym typie sprawy, chcemy zobaczyć przynajmniej sto takich rozmów. O całym agencie da się mówić po pełnym miesiącu, bo dopiero wtedy przejdzie końcówka miesiąca i kilka weekendów.

Jest jeszcze rzecz, która psuje pomiar częściej niż mała próbka. Każda zmiana w scenariuszu zaczyna nową próbkę. Jeśli w środę skróciliście powitanie, to dane z poniedziałku i z czwartku opisują dwa różne agenty i zestawianie ich w jednej kolumnie nie ma sensu. Wystarczy plik z datą i jednym zdaniem, co zmieniono. Bez niego po dwóch miesiącach nikt nie odtworzy, dlaczego w połowie maja odsetek eskalacji podskoczył, a po tygodniu wrócił na swoje.

Ostatnia sprawa to sezon. Przychodnia w lutym i przychodnia w lipcu to dwa różne miejsca, a w biurze rachunkowym różnica między drugim tygodniem miesiąca a końcówką bywa większa niż wszystko, co zrobi agent. Zestawiajcie okresy, które da się zestawić. Jeśli takich nie macie, powiedzcie to na spotkaniu wprost, zamiast udawać, że wykres jest czysty. Rok danych ten problem zdejmuje, tylko mało kto ma cierpliwość czekać rok.

Sygnały, że trzeba się wycofać

Wycofanie się jest normalną opcją i lepiej mieć ją z tyłu głowy od początku. Pierwszy sygnał: odsetek eskalacji nie spada po dwóch albo trzech rundach poprawek, mimo że każda runda miała konkretny powód. Drugi: klienci zaczynają narzekać wprost, nie w ankiecie, tylko w rozmowie z pracownikiem. Trzeci jest najcichszy, bo pracownicy po prostu zaczynają obchodzić system i podawać znajomym bezpośredni numer.

Druga kategoria wygląda inaczej. Agent działa poprawnie, tylko nie ma czego obsługiwać. Ruchu jak na lekarstwo, każde połączenie w innej sprawie, żadnego powtarzalnego wzorca. Przeliczcie to jeszcze raz rachunkiem z lekcji drugiej, tym od godzin miesięcznie. Jeśli przy wdrożeniu od 5 000 zł netto i stałym utrzymaniu matematyka się nie domyka, lepiej powiedzieć to sobie w trzecim miesiącu niż w trzecim roku.

Rzadko trzeba wyłączać wszystko. Zwykle sensowniejsze jest cofnięcie się o krok: zostawić agenta na wieczory i weekendy, a dzień oddać ludziom. Albo zawęzić go do jednej sprawy, w której radzi sobie dobrze, choćby do samego umawiania wizyt. Wąski agent, który działa, jest wart więcej niż szeroki, którego wszyscy omijają.

Częste pytania

Powiązane strony

• Kalkulator oszczędności
• Ile kosztuje voicebot