¿Qué son?
Métricas sobre cómo esto afectará a su negocio. Estas miden el éxito de la aplicación. Para garantizar que un producto no se muestre a los clientes antes de estar listo, tenga expectativas claras sobre su umbral de utilidad: cuán bueno tiene que ser para ser útil.
Los umbrales de utilidad pueden incluir los siguientes grupos de métricas:
- Métricas de calidad para medir la calidad de las respuestas del chatbot.
- Métricas de latencia, incluyendo TTFT (tiempo hasta el primer token), TPOT (tiempo por token de salida) y latencia total. Qué se considera latencia aceptable depende de su caso de uso. Si todas las solicitudes de sus clientes están siendo procesadas actualmente por humanos con un tiempo de respuesta mediano de una hora, cualquier cosa más rápida que esto podría ser suficiente.
- Métricas de costo: cuánto cuesta por solicitud de inferencia.
- Otras métricas como interpretabilidad y equidad.