No. 16 · Policy & People
Medir el fracaso y el éxito
Por qué la medida correcta de un programa de IA es la capacidad construida, no los ahorros generados.
Abstract. En los últimos dieciocho meses, la provincia ha sido reconocida como uno de los adoptantes más innovadores del sector público en América del Norte. Este documento expone las tres medidas que Alberta utiliza para determinar si ese trabajo está teniendo éxito: la preparación, la salud del sistema y el costo, contabilizados en el conjunto del gobierno.
En los últimos dieciocho meses, Alberta ha sido reconocida como uno de los adoptantes más innovadores de la IA en el sector público de América del Norte, a través de la Academia, la fuerza de trabajo agéntica y la fábrica de IA descritas en esta colección. Si bien impulsar la eficiencia es importante, en especial para abordar la deuda técnica, impulsar el rendimiento y la productividad resulta igualmente fundamental. La productividad de Canadá ha ido disminuyendo, la normalización de la IA en el lugar de trabajo parece ya inevitable, y la provincia tiene la intención de mantener a su personal preparado y a sus instituciones capaces. Avanzar a esa velocidad plantea una pregunta legítima, que nos formulan con frecuencia: ¿cómo saben si han tenido éxito? ## §01 La vara de medir equivocada Es tentador medir un programa de IA como lo hacen la mayoría de las organizaciones: por el dinero que ahorra. Esa medida es demasiado limitada y, por sí sola, induce a error. Seguir haciendo exactamente el mismo trabajo de hoy con menos personal sería un error: se obtiene un ahorro puntual y se renuncia al premio mayor, un servicio público capaz de hacer más y de hacer cosas que antes no podía. El objetivo de Alberta es desarrollar capacidad y contar con una fuerza de trabajo a la altura del desafío de transformar el patrimonio tecnológico del gobierno. Las tres medidas son la preparación, la salud del sistema y el costo, y cada una fue elegida porque es difícil rebatirla. ## §02 Preparación La preparación pregunta si la organización puede sostener este cambio, y tiene cuatro componentes. El primero es la educación. Una fuerza de trabajo que comprende los fundamentos, los conceptos y los límites de estas tecnologías puede adaptarse a lo que venga; una que no los comprende será dependiente y frágil. La Academia de IA es el vehículo, y la medida es la preparación de la organización y su capacidad de adaptación al cambio. El segundo componente es el control de ambos lados de la ecuación agéntica: los contratos necesarios para acceder a las herramientas adecuadas, la seguridad para desarrollar nuevas aplicaciones de forma segura y las defensas para resistir a los actores malintencionados que ahora utilizan las mismas herramientas — un equilibrio que el Imperativo de Ciberseguridad aborda en detalle. El tercero es la autosuficiencia. A medida que crece la adopción, ¿nos estamos volviendo más fuertes y más capaces de liderar este trabajo por nuestra cuenta, o más débiles y más dependientes de proveedores externos, con nuestro control y autonomía reduciéndose en proporción al uso de la tecnología? El cuarto es la gobernanza: que las reglas vigentes brinden a las partes interesadas una confianza genuina en el modo en que se utiliza la IA. Un programa puede avanzar rápido y aun así fallar en cualquiera de estos cuatro aspectos, razón por la cual la preparación se mide de forma independiente. ## §03 Salud del sistema La salud del sistema orienta el programa hacia el problema identificado en el primer documento de esta colección, el Barco de Teseo: un parque tecnológico que envejece más rápido de lo que puede repararse. Las medidas aquí son directas y difíciles de cuestionar. ¿Están disminuyendo las vulnerabilidades de ciberseguridad? ¿Está reduciéndose el trabajo pendiente de aproximadamente seiscientas aplicaciones? ¿Está cayendo el número total de aplicaciones a medida que se consolidan los sistemas? En síntesis, ¿estamos invirtiendo la tendencia en lugar de simplemente resistirla? Estas métricas importan porque dejan poco margen para el debate. Enmarcan la eliminación de la deuda técnica en cifras que suben o bajan, y un programa que funciona las moverá en una sola dirección con el tiempo. Uno que no funcione lo mostrará con claridad. No hay relato detrás del cual ocultarse cuando el trabajo pendiente es un único número que se reporta año tras año. El trabajo pendiente ~600 aplicaciones. Aproximadamente seiscientas aplicaciones aguardan en la lista de pendientes de modernización. Que ese número disminuya año tras año es uno de los indicios más claros de si el programa está funcionando. ## §04 El costo, contabilizado correctamente El costo es real y tiene más de un ángulo. El primero es nuestro costo directo como proveedor de tecnología del gobierno. La fábrica entrega con mayor rapidez, pero si producir el mismo resultado cuesta más que antes, hemos cambiado un problema por otro — del mismo modo que el mercado ha llevado a los clientes del software con licencia al SaaS y de ahí a la IA, con cada migración creando una nueva categoría de gasto. La rapidez que llega acompañada de un costo nuevo inaceptable no es un logro. El segundo ángulo es más amplio. Gran parte del desempeño de un ministerio está condicionado, para bien o para mal, por la tecnología que lo sustenta; por ello, la pregunta es si mejores sistemas permiten a los ministerios ofrecer mejores programas. La IA trasciende la tecnología y se extiende a la prestación de servicios, la atención a la ciudadanía, el desarrollo de políticas y la evaluación comparativa. La contabilidad honesta es, por tanto, la del conjunto del gobierno, no la de un registro ministerial aislado. El ángulo más amplio es el del propio servicio público. En un plazo de tres a cinco años, ¿su tamaño y costo, medidos en relación con la población a la que sirve, se mantendrán estables o disminuirán? El crecimiento sería difícil de justificar en este contexto. La indicación del ministro es hacer más con menos, y la expectativa es que el servicio público de Alberta se mantenga estable o disminuya en proporción a su población mientras presta más servicios, con la IA compensando la diferencia. El mandato Hacer más con menos. La prueba del costo, establecida por el ministro: el servicio público debe mantenerse estable o reducirse en relación con la población a la que sirve, mientras ofrece más. "Seguir haciendo el mismo trabajo que hacemos hoy, simplemente con menos personal, sería un error." · Janak Alford, Viceministro, Ministerio de Tecnología e Innovación ## §05 El estándar y su difusión En conjunto, las tres medidas describen cómo se ve el éxito: una fuerza laboral capaz y adaptable, un parque tecnológico que mejora en lugar de deteriorarse, y un servicio público que hace más con menos en todo el gobierno. El fracaso es igualmente reconocible. Una fuerza laboral cada vez más dependiente, un trabajo pendiente que no disminuye, costos simplemente trasladados de una categoría a otra. Nombrar ambos importa, porque una medida que no puede mostrar el fracaso tampoco puede mostrar el éxito. Alberta continuará publicando estos resultados a medida que lleguen, con el mismo formato transparente y accesible que el resto de esta colección, para que cualquier gobierno pueda adoptar lo que funciona y aprender de lo que no. El objetivo es un gobierno capaz de más, construido de forma deliberada y evaluado con honestidad según medidas que pueden marcar la diferencia.
Tags: measurement, success-criteria, readiness, system-health, cost, workforce, change-management