Mide la cola, no el bot
¿Quieres hablar de este ensayo? Escríbeme: amitkvint@gmail.comcopiado· o escríbeme por LinkedIn
Cuando pusimos en marcha un agente de soporte con IA en una cola de unos 5.000 tickets al mes, nunca montamos un panel de deflexión. No porque tuviéramos una gran opinión en contra. Es que no veíamos qué nos iba a contar realmente.
La deflexión mide las conversaciones que nunca llegan a una persona. No te dice si el problema del cliente se resolvió. Alguien que se rinde no es una deflexión exitosa. Puede ser un reembolso la semana que viene, u otro ticket con un asunto completamente distinto.
Este agosto me fijé en que tres partes muy distintas del sector estaban diciendo esencialmente lo mismo. El responsable de CX de Automattic defendió que la deflexión no es una estrategia de soporte. Una columna del lado de los proveedores en Smart Customer Service defendió que la tasa de resolución debería sustituirla. Y la prensa de consumo en China citó a un experto legal diciendo que el soporte con IA debe juzgarse por la eficiencia de resolución y de escalado, con un regulador detrás de la idea.
¿Problema resuelto, entonces? No del todo.
El problema es que la tasa de resolución también se puede maquillar.
Un ejemplo común es el cierre por silencio: si el cliente no responde en 72 horas, el ticket se marca como resuelto. Luego están las resoluciones confirmadas por el bot, donde el agente pregunta "¿te ha servido?" y trata la desaparición del cliente como un sí. Y si los tickets reabiertos se registran como tickets nuevos, un fallo puede convertirse convenientemente en dos resoluciones "exitosas".
Básicamente, cualquier métrica que solo mire la parte del bot puede quedar bien eligiendo con cuidado qué cuenta.
Para mí, la respuesta es no darle a la IA su propio marcador, directamente.
Miras una sola cola y un solo conjunto de números. Los tickets atendidos por la IA y los atendidos por personas deberían medirse juntos, con el tiempo medio de resolución y la satisfacción del cliente sobre toda la cola. Si la IA decía haber resuelto algo que no había resuelto, el cliente volvía, y eso aparecía en nuestros números. No debería haber una métrica de éxito de la IA aparte detrás de la que esconderse.
Eso también te da una forma mucho más segura de escalar. Empiezas con el agente en el 10% de la cola y solo aumentas su parte cuando los números globales aguantan. Seis meses después, estará cubriendo la cola entera. En nuestro caso, el tiempo medio de resolución había bajado de unas 24 horas a unas 10, con la satisfacción por encima del 95%.
Y esos números eran de todos, no solo de los tickets donde la IA daba la casualidad de funcionar bien.
Entiendo por qué los paneles de deflexión resultan atractivos. Son fáciles de montar, fáciles de explicar y, convenientemente, casi siempre suben.
Pero creo que la métrica con la que se juzga a un equipo de soporte debería ser algo que el cliente también reconocería como un éxito.
Nadie nos escribió nunca para decir: "Gracias por deflectarme." :)