Hacia una métrica de valor y de calidad con la IA

Hacia una métrica de valor y de calidad con la IA

El uso de la inteligencia artificial (IA) puede tener un alto consumo de tokens y en la factura final. Inicialmente, los resultados pueden ser impresionantes por lo rápido y coherente de una respuesta, pero a medida que pasa el tiempo, el resultado dependerá de la calidad e información del problema a resolver.  Aun los agentes bien diseñados pueden quedar afectados ante el “colapso del modelo” y el aumento del ruido (respuestas alucinadas) junto con inconsistencias en las respuestas, aun cuando se use RAG (se definan fuentes de información con el contexto para la respuesta).

Los desafíos son diversos, y el mercado tiene diversas tendencias para definir métricas que ayuden a reducir estos problemas. Aquí algunas propuestas de métricas.

1.       Valor entregado vs tareas completadas. La IA tiene una capacidad impresionante para hacer las cosas, por ejemplo, si estamos haciendo código o diseñando podemos tener todo en minutos. Si medimos la cantidad de tareas en un tiempo, nos quedamos asombrados de ese resultado. Pero el verdadero resultado es el valor a entregar. El costo en tokens puede ser oneroso y subir exponencialmente cuando se cree que más es mejor. Medir el valor a los clientes, empresa y empleados reduce el riesgo de ver a la IA como una máquina de crear “popcorn” y de paso estresar la billetera.

2.       Tiempo de aprendizaje vs cantidad de respuestas de la IA. El tiempo total necesario para esbozar una idea o mejora, construirla, entregarla a los usuarios y aprender de su uso. He escuchado muchas historias acerca de lo rápido que conseguimos una cantidad de historias de usuario con criterios de aceptación que ya podemos usar. Pero lo realmente importante era si tenían consistencia para aprender de los clientes, el mercado y entregar valor. Escribir más rápido las historias de usuario puede ayudar, pero no era el problema central que queríamos resolver.

3. Tasa de innovación versus reducción de consumo de tokens. Hacer un análisis para reducir el consumo de tokens, diseñar una arquitectura de software, de agentes para usar la menor cantidad de tokens posibles es necesario, pero sin la medición de la tasa de innovación o la medida de rendimiento de esa inversión en nuevas ideas innovadoras construidas, puede dar paso a la trampa de la eficiencia pura y perder el foco en el cliente.

4. Rendimiento de los tokens versus latencia de respuesta. Vivimos en un mundo BANI (Frágil, Ansioso, No lineal, Incomprensible). Queremos las respuestas lo antes posible, la latencia y demora de la IA no es aceptable. Les cuento que he desarrolado un software de gobernanza de IA dinámico para validación de resultados con evidencia, la primera pregunta que recibo es: «¿Pero no hará más lenta la respuesta?» Es una preocupación válida, ¿pero qué hay de tomar decisiones con datos inconsistentes o alucinados? ¿Qué pasaría si se quitan o reducen los ciclos de convergencia humano-IA-humano para ser más rápidos? ¿Cuál es la prioridad: la toma de decisiones con evidencia validada o reducir el tiempo sacrificando la consistencia?. La tasa de innovación puede ayudar a evaluar el rendimiento de convertir las ideas en nuevo valor o solamente corregir lo que ya existe.

Si reducimos los ciclos de convergencia humano-IA-humano para ganar segundos de rapidez, estamos llegando antes a una solución potencialmente errónea. Una decisión que puede generar un retrabajo y un costo mucho mayor que esperar unos minutos por una respuesta validada y con evidencia.