Cómo evaluar un chatbot antes de implantarlo: criterios prácticos
Un chatbot puede responder bien en una demostración y fallar con clientes reales. Evaluarlo antes de implantarlo significa probarlo con preguntas que se parecen a las que llegarán, no solo con las que prepara el proveedor. Antes de evaluar un chatbot conviene tener claras las bases, que la guía completa sobre IA expone de forma ordenada.
Define qué debe resolver
Antes de medir nada, escribe las tareas que debe cumplir: responder preguntas frecuentes, tomar datos para una cita, consultar el estado de un pedido o pasar la conversación a una persona. Un chatbot que intenta hacer de todo suele fallar justo en lo que más importa.
Prueba con preguntas reales
Reúne entre 50 y 100 preguntas tomadas de correos, llamadas o chats anteriores, incluidas las mal escritas y las ambiguas. Evalúa cada respuesta con tres criterios: si es correcta, si es completa y si el tono es adecuado. Anota también los casos en los que el bot debía derivar a una persona y no lo hizo.
Mide lo que importa al negocio
Además de la calidad de la respuesta, mide qué porcentaje de conversaciones se resuelve sin persona, cuánto tarda la derivación y qué pasa cuando el cliente se enfada. Si el bot inventa datos como precios, plazos o políticas, no debe salir a producción hasta corregirlo, aunque el resto funcione bien.
Casos que debes probar
- Preguntas frecuentes con varias formulaciones, incluidas faltas de ortografía y mensajes incompletos.
- Preguntas fuera de su alcance, para comprobar que reconoce que no sabe y deriva a una persona.
- Preguntas sobre datos sensibles, como pagos, contratos o información personal.
- Peticiones ambiguas o con enfado, que ponen a prueba el tono y la capacidad de escalar.
- Preguntas cuya respuesta cambió recientemente, como precios, horarios o políticas.
Quién debe revisarlo
No basta con que lo pruebe quien lo configuró. Pide a alguien de atención al cliente, a otra persona de ventas y, si aplica, a quien responde por los temas legales o de privacidad que lo revisen con preguntas reales de clientes. Cada perfil detecta errores distintos: el equipo de atención ve respuestas poco útiles; el área legal, promesas que el negocio no puede cumplir.
Cuándo no conviene automatizar la atención
Hay conversaciones que deben llegar a una persona: reclamaciones graves, casos con emociones intensas, decisiones con consecuencias económicas importantes o situaciones que el chatbot no ha visto antes. Define de antemano en qué casos se transfiere la conversación y asegúrate de que la persona recibe el historial, para que el cliente no tenga que repetirse.
Seguimiento después del lanzamiento
Evaluar no termina el día de la puesta en marcha. Revisa de forma periódica una muestra de conversaciones reales, anota las respuestas incorrectas y actualiza la información de la que parte el chatbot cuando cambien los precios, los productos o las políticas. Si el negocio crece o cambia de servicio, vuelve a pasar la lista de pruebas.
Si estás empezando a decidir en qué procesos probar herramientas como esta, lee antes cómo elegir el primer proceso a digitalizar y la guía de implementación de IA en empresas.
Qué revisar antes de ponerlo en marcha
Revisa que la información que usa el bot esté actualizada, qué no debe prometer, qué datos personales recoge y cómo avisa al cliente de que está hablando con una IA. Para el contexto general, lee cómo implementar IA en empresas.
Para repasar los riesgos antes de decidir, consulta ventajas y desventajas de la inteligencia artificial.
Criterios de aceptación antes de lanzar
Antes de publicar el chatbot, define por escrito qué significa que funciona. Un criterio útil combina tres tipos de medida: qué porcentaje de preguntas frecuentes responde bien, qué porcentaje deriva a una persona cuando debe hacerlo y qué incidentes graves aparecen en la prueba. Si cualquiera de los tres no se cumple, no se lanza, aunque el resto del desempeño sea bueno.
- Respuestas correctas en las preguntas más frecuentes, comprobadas por una persona del equipo.
- Derivación correcta a una persona en los casos que lo requieren.
- Ningún dato sensible mostrado a quien no debe verlo.
- Ningún compromiso de precio, plazo o condición que el negocio no pueda cumplir.
Cómo presentar el chatbot al cliente
Dile al cliente que está hablando con un asistente automatizado, y explica qué puede resolver y cómo llegar a una persona. Evitar que el chatbot se haga pasar por un humano no es solo una cuestión de confianza: reduce reclamaciones y facilita la derivación. Un texto de bienvenida claro y un botón visible para hablar con alguien suelen ser mejores que un chatbot más sofisticado escondido en la página.
Cuánto cuesta mantenerlo
El coste no termina con la puesta en marcha. Hay que reservar tiempo para revisar conversaciones, actualizar la información cuando cambian precios o políticas y repetir las pruebas cuando se añade un producto. Calcula ese tiempo semanal antes de decidir, porque un asistente que nadie mantiene se degrada en pocos meses. Compara esa cifra con el tiempo que ahorra en respuestas repetidas.
Si estás empezando a decidir en qué procesos probar herramientas como esta, lee antes cómo elegir el primer proceso a digitalizar.
Si el chatbot falla en público
Aunque la prueba previa sea buena, habrá respuestas incorrectas en producción. Lo importante es tener un proceso para detectarlas y corregirlas en pocos días, no evitar cualquier error.
- Revisa cada semana una muestra de conversaciones, incluidas las que terminaron sin derivación.
- Anota la pregunta, la respuesta dada y la respuesta correcta; agrupa los errores por tema.
- Corrige primero la información de origen (precios, políticas, plazos) y después el texto de respuesta.
- Si el error puede causar un daño al cliente, desactiva temporalmente ese tema y deriva a una persona hasta corregirlo.
Un registro sencillo de errores, con fecha y tema, permite ver si el problema se repite. Si el mismo tema falla dos veces seguidas, conviene revisar cómo está construido ese flujo, no solo la respuesta suelta.
