Cómo saber si tu agente de IA funciona: métricas sencillas

Has puesto en marcha un agente de IA para contestar a tus clientes. Responde, parece que suena bien… y ahora llega la pregunta que casi todo el mundo se hace tarde o temprano: ¿cómo saber si tu agente de IA funciona de verdad? No se trata de una duda técnica, sino de negocio: ¿te está ayudando a atender mejor, a no perder consultas, a conseguir citas o ventas?

La buena noticia es que no necesitas un cuadro de mando complicado para saberlo. Con unas pocas métricas sencillas y un hábito de revisión de unos quince minutos a la semana, puedes tener una idea muy clara de cómo va. En esta guía te explico qué mirar, cómo comparar el antes y el después con tus propios números y qué señales indican que toca corregir algo. Si todavía no tienes claro qué hace exactamente un agente, puedes leer antes qué es un agente de IA para WhatsApp.

Antes de medir: ¿qué quieres conseguir?

Una métrica solo sirve si responde a un objetivo. Antes de contar nada, decide con sinceridad para qué quieres el agente. Algunos objetivos habituales:

• Que nadie se quede sin respuesta, sobre todo fuera de horario.
• Responder más rápido a quienes preguntan por primera vez.
• Ahorrar tiempo al equipo en preguntas repetitivas.
• Conseguir más citas, reservas o ventas que nazcan de un mensaje.

No hace falta que persigas todos a la vez. Elige uno o dos y mide lo que se relaciona con ellos. El resto de números sirven de contexto, no de examen.

Las métricas que de verdad importan

Estas son las cinco que recomendamos para empezar. Ninguna requiere herramientas especiales: la mayoría puedes sacarla revisando tus conversaciones, tu agenda o tus propios registros.

1. Tiempo de primera respuesta

Es el tiempo que pasa desde que alguien escribe hasta que recibe la primera respuesta. Es la métrica más directa para saber si estás atendiendo bien: cuanto menos espera la persona, más probable es que siga la conversación.

Cómo medirlo sin complicarte: toma una muestra de conversaciones recientes y apunta cuánto tardó la primera respuesta, distinguiendo entre mensajes recibidos en horario de trabajo y fuera de él. Con un agente, lo esperable es que ese tiempo sea muy corto en ambos casos; la diferencia se nota sobre todo de noche y en fines de semana.

2. Conversaciones atendidas frente a conversaciones perdidas

Cuenta cuántas conversaciones nuevas llegan y cuántas terminan sin respuesta o con una respuesta que llegó demasiado tarde. Una «conversación perdida» es aquella en la que la persona escribió, nadie contestó a tiempo y no volvió a saberse de ella.

Si antes de tener agente perdías conversaciones por estar ocupado o por escribir fuera de horario, esta es la métrica que más debería mejorar. No necesitas cifras exactas: basta con una estimación honesta y mantener el mismo criterio cada semana.

3. Citas, reservas o ventas que nacen de un mensaje

Esta es la que más se acerca al dinero. Anota cuántas citas, reservas, presupuestos pedidos o ventas empiezan en una conversación atendida por el agente. No hace falta atribuir cada euro; basta con ver si hay una tendencia.

Un truco práctico: cuando alguien reserva o pide cita, pregúntale cómo te encontró, o revisa de qué conversación salió. Si el agente puede agendar citas con Google Calendar, además queda registro en tu agenda, lo que facilita el recuento.

4. Preguntas que el agente no supo contestar

Esta métrica es oro para mejorar. Cada vez que el agente dice «no tengo esa información» o pasa la conversación a una persona porque no sabía algo, hay una pista de qué falta en su información. Anota esas preguntas: si se repiten, hay que añadirlas.

Lo que buscas no es que el agente nunca derive, sino que derive lo que debe y conteste lo que puede. Si ves que pasa a una persona preguntas muy básicas, falta información. Si ve algo delicado y no lo deriva, falta una regla.

5. Quejas y malas experiencias

Cuenta cuántas conversaciones acaban con una queja, un malentendido o una persona claramente molesta. Y mira qué las provocó: ¿una respuesta equivocada?, ¿una promesa que no debía hacerse?, ¿un tono que no encajaba?, ¿una espera excesiva antes de que entrase una persona?

No hace falta que haya cero quejas, pero sí que entiendas de dónde vienen y las corrijas.

La revisión semanal de 15 minutos

Más importante que cualquier métrica es el hábito de leer conversaciones reales. Los números te dicen qué ocurre; las conversaciones te dicen por qué. Prueba con esta rutina de un cuarto de hora, una vez a la semana:

1. Lee entre cinco y diez conversaciones, mezclando unas que salieron bien, otras que acabaron en una persona y alguna que acabara mal o sin respuesta.
2. Apunta lo que falló: una respuesta incorrecta, un dato que faltaba, un tono raro, una derivación tardía.
3. Apunta lo que funcionó: respuestas que te gustaron, frases que conviene mantener.
4. Revisa las preguntas sin respuesta de la semana.
5. Corrige el «cerebro»: añade la información que faltaba, ajusta una regla o aclara el tono.
6. Anota tus números básicos (conversaciones, citas, quejas) en una hoja sencilla o en una nota.

Es un ejercicio pequeño, pero acumulativo: a las pocas semanas, tu agente responderá mejor que el primer día porque cada revisión suma. Si necesitas ideas sobre cómo ordenar esa información, tienes una guía sobre cómo preparar la información de tu agente de IA.

Cómo comparar el antes y el después con tus propios números

La mejor evaluación no es la de un estudio ajeno, sino la de tu propio negocio. Para ello necesitas un punto de partida. Si todavía no has puesto en marcha el agente, anota durante una o dos semanas:

• Cuánto sueles tardar en contestar un mensaje nuevo.
• Cuántos mensajes se quedan sin respuesta (o con respuesta al día siguiente).
• Cuántas citas o reservas llegan por mensaje.
• Cuánto tiempo dedicas a contestar preguntas repetitivas.

Si ya lo tienes en marcha y no tomaste esos datos, no pasa nada: usa lo que recuerdes y lo que puedas reconstruir revisando conversaciones antiguas. No hace falta precisión científica, solo honestidad.

Luego compara con la misma lógica. Por ejemplo:

• «Imagina que antes tardabas X en contestar a un mensaje nuevo y ahora tardas mucho menos: ¿se nota en que menos gente abandona la conversación?»
• «Imagina que antes perdías varias consultas a la semana fuera de horario y ahora quedan atendidas: ¿han aumentado las citas que se agendan por la mañana siguiente?»
• «Imagina que dedicabas un rato diario a las mismas preguntas y ahora solo revisas lo que el agente no supo: ¿has recuperado ese tiempo?»

No hay un número «correcto» universal. Lo que importa es la dirección: ¿está mejor que antes? ¿en qué? ¿a qué coste de revisión?

Señales de que hay que corregir el «cerebro»

Hay síntomas claros de que la información del agente necesita ajustes:

• Repite respuestas genéricas cuando la pregunta es concreta.
• Se inventa datos (horarios, servicios, condiciones) que no están en su información.
• Contesta bien pero con un tono que no es el tuyo.
• Deriva demasiado pronto preguntas que podría responder.
• No deriva a tiempo temas delicados (quejas, dinero, salud, asuntos legales).
• Se contradice entre una conversación y otra porque hay datos cruzados.
• Responde con información antigua porque cambiaste algo y no lo actualizaste.

Ante cualquiera de estos síntomas, el remedio casi siempre es el mismo: aclarar o ampliar la información, añadir una regla o corregir un dato. Es un trabajo de edición, no de programación.

Cuándo debe entrar una persona

Medir también implica revisar qué se pasa a una persona y cuándo. Un agente bien configurado deriva en casos como:

• Quejas o personas claramente molestas.
• Peticiones fuera de lo habitual o que requieren una decisión tuya.
• Temas sensibles (salud, dinero, asuntos legales): en estos casos lo correcto es recoger los datos básicos y pasar la conversación a una persona, sin dar consejo.
• Situaciones en las que el agente no tiene información suficiente.

Mira en tus revisiones si esas derivaciones se producen a tiempo y con el contexto necesario, de modo que la persona que retoma la conversación no tenga que empezar de cero. Tienes más ideas en la guía sobre cuándo conviene pasar una conversación a una persona.

Errores frecuentes al medir

• Medir demasiadas cosas. Cinco números bastan. Más datos no significan más claridad.
• Mirar solo cifras y no conversaciones. Los números sin contexto engañan.
• Compararse con otros negocios. Cada sector, horario y tipo de cliente es distinto.
• Esperar resultados inmediatos. Al principio hay ajustes; la mejora suele venir tras varias revisiones.
• No tener punto de partida. Sin un «antes», es difícil saber qué ha cambiado.
• Atribuir todo al agente. Una cita puede deberse a muchos factores; usa los números como orientación, no como verdad absoluta.

Una hoja sencilla para empezar

Si quieres algo muy práctico, crea una tabla con una fila por semana y estas columnas:

1. Conversaciones nuevas.
2. Tiempo de primera respuesta (orientativo).
3. Conversaciones sin respuesta a tiempo.
4. Citas, reservas o ventas que nacieron de un mensaje.
5. Preguntas que el agente no supo contestar.
6. Quejas o malentendidos.
7. Qué cambié esta semana en el «cerebro».

Tras un mes tendrás una pequeña historia de tu agente y una idea clara de qué ajustes tuvieron efecto. No hace falta herramienta especial: sirve una hoja de cálculo o una libreta.

En resumen

Saber si tu agente de IA funciona no exige análisis complicados: basta con fijar uno o dos objetivos, mirar cinco métricas sencillas (tiempo de primera respuesta, conversaciones atendidas frente a perdidas, citas o ventas que nacen de un mensaje, preguntas sin respuesta y quejas) y dedicar quince minutos a la semana a leer conversaciones reales. Con esa rutina verás pronto qué mejorar en su «cerebro» y cuándo conviene que entre una persona. Si quieres comprobarlo con tus propios mensajes, Secretia contesta por WhatsApp, Instagram, Facebook y el chat de tu web desde un único panel, con el tono y la información de tu negocio, y puedes probarlo siete días gratis.

Por el equipo de Secretia.