No. 16 · Policy & People

Mesurer l’échec et la réussite

Pourquoi évaluer un programme d’IA en fonction des compétences qu’il permet de développer, plutôt qu’en fonction de l’argent économisé.

Durant cette période, ces résultats ont été rendus possibles grâce à des initiatives comme l’Académie, l’effectif agentique et l’usine d’IA. Si l’amélioration de l’efficacité est importante, particulièrement pour réduire la dette technique, l’amélioration du rendement et de la productivité l’est tout autant. Face à la baisse de productivité au Canada et à la généralisation de l’IA en milieu de travail, la province veut s’assurer que ses employés restent pertinents et que ses institutions demeurent solides. Cela soulève une question importante : comment savoir si ces efforts réussissent ?


## §01 Le mauvais étalon

Il est tentant de mesurer un programme d’IA comme le font la plupart des organisations, en regardant l’argent économisé. Mais cette approche est trop limitée et peut être trompeuse.
Faire exactement le même travail avec moins de personnel serait une erreur. Cela permettrait peut-être d’économiser à court terme, mais ferait perdre le principal avantage : une fonction publique capable d’en faire plus et de réaliser des choses impossibles auparavant. En Alberta, l’objectif est plutôt de développer les capacités et de bâtir un effectif capable de relever le défi de transformer le parc numérique du gouvernement. Les trois mesures sont : le niveau de préparation, l’état des systèmes et le coût. Ils ont été choisis parce qu’ils sont concrets et difficiles à contester.


## §02 État de préparation

L’état de préparation mesure si l’organisation est capable de soutenir ce changement. Il repose sur quatre éléments. Le premier est la formation. Un personnel qui comprend les bases, les concepts et les limites de l’IA pourra s’adapter à ce qui viendra ensuite. À l’inverse, sans cette compréhension, l’organisation devient dépendante et fragile. L'Académie d’IA sert à développer cette capacité d’adaptation.

Le deuxième élément concerne la maîtrise des deux aspects des systèmes agentiques. D’un côté, il faut les contrats nécessaires pour accéder aux bons outils et les mesures de sécurité pour créer des applications de façon sécuritaire. De l’autre, il faut des moyens de défense pour se protéger contre les acteurs malveillants qui utilisent aussi ces outils. Trouver le bon équilibre entre ces deux aspects est essentiel, c’est ce que l'Impératif cybernétique aborde en détail.

Le troisième élément est l’autonomie. À mesure que l’utilisation de l’IA augmente, il faut se demander si l’organisation devient plus forte et plus capable de faire ce travail par elle-même, ou au contraire plus dépendante de fournisseurs externes, avec moins de contrôle. Le quatrième élément est la gouvernance. Il s’agit de vérifier si les règles en place inspirent une confiance réelle aux parties prenantes quant à l’utilisation de l’IA.
Un programme peut avancer rapidement, mais échouer sur l’un de ces points. C’est pourquoi l’état de préparation doit être évalué séparément.


## §03 Santé des systèmes

La santé des systèmes tourne le programme vers le problème nommé dans le premier document de cette collection, Le navire de Thésée : un parc qui vieillit plus vite qu’on ne peut le réparer. Les mesures sont ici franches et difficiles à contester. Les expositions aux cybervulnérabilités diminuent-elles? L’arriéré d’environ six cents applications rétrécit-il? Le nombre total d’applications baisse-t-il à mesure que les systèmes sont consolidés? Bref, renversons-nous la tendance plutôt que de simplement la contenir?

Ces indicateurs comptent parce qu’ils laissent peu de place à la discussion. Ils traduisent l’élimination de la dette technique en chiffres qui montent ou descendent, et un programme qui fonctionne les fera évoluer dans une seule direction au fil du temps. Un programme qui ne fonctionne pas le montrera clairement. Il n’y a aucun récit derrière lequel se cacher lorsque l’arriéré est un chiffre unique déclaré d’une année à l’autre.

L’arriéré ~600 applications. Environ 600 applications sont en attente de modernisation. Le fait que ce nombre diminue ou non, d’une année à l’autre, est un des indicateurs les plus clairs pour savoir si le programme réussit ou non.


## §04 Le coût, bien comptabilisé

Le coût est important, et il doit être analysé sous plusieurs angles. Le premier concerne nos coûts directs comme fournisseur de services TI du gouvernement. L’usine d’IA permet de livrer plus rapidement, mais si le même résultat coûte plus cher qu’avant, on ne fait que déplacer le problème. On l’a vu dans le marché avec le passage des logiciels sous licence au SaaS, puis à l’IA : chaque étape a créé de nouveaux types de coûts. Aller plus vite n’est pas un succès si cela entraîne des coûts trop élevés.

Le deuxième angle est plus large. La performance des ministères dépend en grande partie des systèmes informatiques. Il faut donc se demander si de meilleurs systèmes permettent réellement d’offrir de meilleurs services. L’IA ne se limite pas à la technologie : elle touche aussi la prestation des programmes, les relations avec les citoyens, l’élaboration des politiques et la comparaison des résultats. L’évaluation doit donc se faire à l’échelle de tout le gouvernement, et non d’un seul ministère.

Le troisième angle est encore plus global : la fonction publique elle-même. Sur une période de trois à cinq ans, sa taille et son coût, par rapport à la population, devraient rester stables ou diminuer. Une augmentation serait difficile à justifier. L’objectif est de faire plus avec moins, en s’appuyant sur l’IA pour combler l’écart.

Le mandat Faire plus avec moins. Le critère du coût, fixé par le ministre : la fonction publique devrait rester stable ou rétrécir par rapport à la population qu’elle sert, tout en offrant davantage.

"Poursuivre le même travail que nous faisons, simplement avec moins de personnel, est une folie." · Janak Alford, sous-ministre, ministère de la Technologie et de l’Innovation


## §05 La norme, et son partage

Ensemble, ces trois mesures montrent à quoi ressemble le succès : un personnel compétent et capable de s’adapter, des systèmes qui s’améliorent au lieu de se détériorer, et une fonction publique qui en fait plus avec moins à l’échelle de tout le gouvernement.

L’échec est tout aussi facile à voir : un personnel de plus en plus dépendant, un arriéré qui ne diminue pas et des coûts qui sont seulement déplacés d’un endroit à un autre. Il est important de pouvoir mesurer les deux, car une mesure qui ne permet pas de détecter un échec ne peut pas non plus confirmer une réussite.

L’Alberta continuera de publier ces résultats de façon transparente et accessible, comme dans le reste de cette série de documents. L’objectif est de permettre à d’autres gouvernements de s’en inspirer, en reproduisant ce qui fonctionne et en apprenant de ce qui ne fonctionne pas.

Au final, le but est de bâtir un gouvernement capable d’en faire davantage, en avançant de manière réfléchie et en évaluant ses progrès avec des mesures claires et utiles.

Tags: measurement, success-criteria, readiness, system-health, cost, workforce, change-management

Open the interactive version