No. 15 · Policy & People
Mesurer l'échec et la réussite
Pourquoi la bonne mesure d'un programme d'IA est la capacité bâtie, et non les dollars économisés.
Abstract. La plupart des organisations qui adoptent l'IA mesurent leur réussite en dollars économisés. L'Alberta la mesure autrement. L'objectif n'est pas d'accomplir le même travail avec moins de personnes, ce qui serait une folie, mais de bâtir une capacité et un effectif aptes à transformer la façon dont le gouvernement fonctionne, à un moment où la productivité du Canada est mise à rude épreuve et où la normalisation de l'IA en milieu de travail paraît inévitable. Au cours des dix-huit derniers mois, la province a été reconnue parmi les adoptants les plus innovants du secteur public en Amérique du Nord. Ce document présente les trois mesures que l'Alberta utilise pour juger si ce travail réussit : l'état de préparation, la santé des systèmes et le coût, comptabilisés à l'échelle de l'ensemble du gouvernement plutôt que d'un seul registre.
Au cours des dix-huit derniers mois, l'Alberta a été reconnue parmi les adoptants les plus innovants de l'IA dans le secteur public en Amérique du Nord, grâce à l'Académie, à l'effectif agentique et à l'usine d'IA décrits tout au long de cette collection. Ce travail a un but qui dépasse l'efficience. La productivité du Canada est en recul, la normalisation de l'IA en milieu de travail paraît désormais inévitable, et la province entend garder ses travailleurs pertinents et ses institutions capables. Avancer à cette vitesse soulève une question légitime, qu'on nous pose souvent : comment savez-vous si vous avez réussi? Ce document répond en trois mesures. ## §01 Le mauvais étalon Il est tentant de mesurer un programme d'IA comme le font la plupart des organisations, par l'argent qu'il économise. Cette mesure est trop étroite, et à elle seule, elle induit en erreur. Continuer d'accomplir exactement le travail que nous faisons aujourd'hui avec moins de personnes serait une folie : cela engrange une économie ponctuelle et sacrifie le gain le plus important, soit une fonction publique capable d'en faire davantage et d'accomplir des choses qu'elle ne pouvait pas faire auparavant. L'objectif de l'Alberta est de bâtir une capacité et un effectif à la hauteur de la transformation du gouvernement, et les mesures qui suivent jugent les progrès au regard de cet objectif. Ce sont l'état de préparation, la santé des systèmes et le coût, et chacune a été choisie parce qu'il est difficile de la contester. ## §02 État de préparation L'état de préparation demande si l'organisation peut porter ce changement, et il comporte quatre volets. Le premier est l'éducation. Un effectif qui comprend les fondements, les concepts et les limites de ces technologies peut s'adapter à tout ce qui viendra ensuite; celui qui ne les comprend pas sera dépendant et fragile. L'Académie d'IA en est le véhicule, et la mesure est l'état de préparation et la capacité d'adaptation de l'organisation au changement. Le deuxième volet est la maîtrise des deux côtés de l'équation agentique : les contrats, les contrôles et la sécurité pour bâtir de nouvelles applications en toute sûreté, et les défenses pour résister aux acteurs malveillants qui manient désormais les mêmes outils, un équilibre que l'Impératif cybernétique aborde en détail. Le troisième est l'autosuffisance. À mesure que l'adoption croît, devenons-nous plus forts et plus aptes à mener nous-mêmes ce travail, ou plus faibles et plus dépendants de fournisseurs tiers, notre maîtrise et notre marge d'action rétrécissant à mesure que nous utilisons la technologie? Le quatrième est la gouvernance : à savoir si les règles en place donnent aux parties prenantes préoccupées une confiance véritable dans la façon dont l'IA est utilisée. Un programme peut avancer vite et tout de même échouer à l'un de ces quatre volets, c'est pourquoi l'état de préparation se mesure à part. ## §03 Santé des systèmes La santé des systèmes tourne le programme vers le problème nommé dans le premier document de cette collection, Le navire de Thésée : un parc qui vieillit plus vite qu'on ne peut le réparer. Les mesures sont ici franches et difficiles à contester. Les expositions aux cybervulnérabilités diminuent-elles? L'arriéré d'environ six cents applications rétrécit-il? Le nombre total d'applications baisse-t-il à mesure que les systèmes sont consolidés? Bref, renversons-nous la tendance plutôt que de simplement la contenir? Ces indicateurs comptent parce qu'ils laissent peu de place à la discussion. Ils traduisent l'élimination de la dette technique en chiffres qui montent ou descendent, et un programme qui fonctionne les fera évoluer dans une seule direction au fil du temps. Un programme qui ne fonctionne pas le montrera clairement. Il n'y a aucun récit derrière lequel se cacher lorsque l'arriéré est un chiffre unique déclaré d'une année à l'autre. L'arriéré ~600 applications. Environ six cents applications attendent dans l'arriéré de modernisation. Que ce chiffre baisse ou non, d'une année à l'autre, est l'un des signes les plus clairs de la réussite ou non du programme. ## §04 Le coût, bien comptabilisé Le coût est réel, et il se voit à travers plus d'une lentille. La première est notre coût direct en tant que fournisseur de TI du gouvernement. L'usine livre plus vite, mais si livrer le même produit coûte plus cher qu'avant, nous avons troqué un problème contre un autre, à la manière dont le marché a fait passer ses clients du logiciel sous licence au SaaS puis à l'IA, chaque migration étant une nouvelle catégorie de coût. Une vitesse qui s'accompagne d'un nouveau coût inacceptable n'est pas une victoire. La deuxième lentille est plus large. Une grande partie de la performance d'un ministère est façonnée, pour le meilleur ou pour le pire, par la TI qui la sous-tend; la question devient donc de savoir si de meilleurs systèmes permettent aux ministères d'offrir de meilleurs programmes. L'IA dépasse la technologie pour atteindre la prestation des programmes, la mobilisation de la clientèle, l'élaboration des politiques et l'étalonnage. La comptabilité honnête est par conséquent à l'échelle de l'ensemble du gouvernement, et non du registre d'un seul ministère. La lentille la plus large est la fonction publique elle-même. Sur trois à cinq ans, sa taille et son coût, mesurés par rapport à la population qu'elle sert, resteront-ils stables ou baisseront-ils? Une croissance serait difficile à imaginer ici. La consigne du ministre est de faire plus avec moins, et l'attente est que la fonction publique de l'Alberta reste stable ou diminue par rapport à sa population tout en offrant davantage, l'IA comblant la différence. Le mandat Faire plus avec moins. Le critère du coût, fixé par le ministre : la fonction publique devrait rester stable ou rétrécir par rapport à la population qu'elle sert, tout en offrant davantage. "Poursuivre le même travail que nous faisons, simplement avec moins de personnel, est une folie." · Janak Alford, sous-ministre, ministère de la Technologie et de l'Innovation ## §05 La norme, et son partage Prises ensemble, les trois mesures décrivent à quoi ressemble la réussite : un effectif compétent et adaptable, un parc qui devient plus sain plutôt que plus malade, et une fonction publique qui fait plus avec moins à l'échelle de l'ensemble du gouvernement. L'échec est tout aussi lisible. Un effectif de plus en plus dépendant, un arriéré qui ne veut pas baisser, des coûts simplement déplacés d'une catégorie à une autre. Nommer les deux importe, car une mesure qui ne peut pas montrer l'échec ne peut pas non plus montrer la réussite. L'Alberta continuera de publier ces résultats au fil de leur arrivée, sous la même forme transparente et accessible que le reste de cette collection, afin que tout gouvernement puisse adopter ce qui fonctionne et tirer des leçons de ce qui ne fonctionne pas. L'objectif est un gouvernement capable d'en faire davantage, bâti délibérément et jugé honnêtement au regard de mesures capables de faire la différence.
Tags: measurement, success-criteria, readiness, system-health, cost, workforce, change-management