No. 21 · Technical

La forme des données

Transformer l’information en connaissances structurées, interrogeables et vérifiables sur lesquelles une IA peut raisonner.

La plupart des démonstrations d’outils d’intelligence artificielle sont impressionnantes pendant environ cinq minutes. Quelqu’un téléverse un dossier de documents dans un outil de clavardage, pose une question en langage clair, et une réponse fluide revient en quelques secondes. L’auditoire est impressionné, et il devrait l’être, parce que les outils et les modèles qui font cela sont véritablement puissants. Les ennuis commencent dès l’instant où le travail doit être reproductible, exact plutôt que simplement fluide, comparable à travers des milliers d’éléments plutôt que traité un à la fois, et défendable des mois plus tard lorsque quelqu’un demande comment le système est arrivé à sa conclusion. C’est là le travail dont la majeure partie du gouvernement a réellement besoin, et ce n’est pas ce qu’un agent conversationnel doté d’une pile de fichiers peut accomplir.

Au cours de la dernière année, le ministère de la Technologie et de l’Innovation a bâti des systèmes qui accomplissent ce type de travail plus exigeant pour des ministères de toute l’Alberta. Ils lisent des bibliothèques entières de législation, l’intégralité du programme d’études provincial, et de vastes ensembles de politiques et de documentation technique, et ils transforment cette matière brute en connaissances sur lesquelles une IA peut raisonner de façon fiable, citer avec précision et dont elle peut rendre compte. Derrière chacun de ces systèmes se trouve la même machinerie : un pipeline qui prend des documents ordinaires et les rend, en un mot, prêts pour l’IA. Le présent document explique ce pipeline en langage clair, afin qu’un dirigeant qui n’écrira jamais une ligne de code puisse comprendre ce qu’il faut réellement pour bâtir un système d’IA digne de confiance, et puisse faire la différence entre une démonstration et un système fiable.


## §01 Pourquoi les outils faciles ne suffisent pas

Les outils d’IA les plus couramment utilisés aujourd’hui sont des assistants conversationnels. Microsoft Copilot se trouve à l’intérieur des documents dans lesquels les gens travaillent déjà et rédige, résume et répond à des questions à leur sujet. NotebookLM de Google prend un ensemble de sources qu’une personne lui remet et lui permet d’interroger cet ensemble, et il narrera même un aperçu audio bien présenté. Ces outils sont excellents, et l’Alberta les utilise. Pour lire un long rapport, rédiger une note ou se familiariser avec une poignée de fichiers, ils font gagner un temps réel, et nous les recommandons précisément pour cela.

Ils ont été conçus pour une personne travaillant avec un ensemble restreint et temporaire de documents, et c’est là la limite de leur conception. Ils ne conservent vos fichiers que le temps d’une séance, avec une quantité limitée de texte en vue à la fois, de sorte qu’ils ne peuvent pas garder à l’esprit le corpus entier d’un ministère. Ils répondent dans une prose fluide, qui se lit bien et ne peut être triée, dénombrée ni comparée à travers dix mille éléments. Ils résumeront une clause, mais ils ne vous diront pas de façon fiable de quelle clause, à quelle page, de quel document une réponse provient, et ils ne conservent aucune trace durable que vous pourriez auditer plus tard. Lorsque la séance se termine, la réponse s’évapore et rien n’est bâti, et aucun ensemble de connaissances partagé et structuré n’est laissé pour la personne suivante, ou l’outil suivant, sur lequel s’appuyer. Recréer une réponse exacte, ou sauvegarder la réflexion qui a mené à la réponse, est souvent impossible.

L’utilisation de l’IA pour des tâches gouvernementales complexes échoue lorsque nous ne pouvons pas auditer le travail. Une décision du Conseil des ministres doit remonter jusqu’à ses preuves. Un point de référence couvrant 14 administrations doit être défendable et ancré dans des principes rationnels et mesurables, sinon la comparaison ne signifie rien. Et la valeur doit perdurer au-delà d’une seule question ou interaction, parce que le prochain programme, et celui d’après, auront besoin du même ensemble de connaissances. Pour cela, les documents eux-mêmes doivent être reconstruits en quelque chose avec quoi une IA peut travailler à grande échelle. Cette reconstruction exige une approche systématique pour transformer l’information de formats incompatibles en renseignements lisibles par l’IA, et constitue une étape déterminante dans la création de tout produit fondé sur l’intelligence.


## §02 Ce que veut dire « prêt pour l’IA »

Rendre l’information prête pour l’IA, c’est la faire passer par une séquence fixe d’étapes, dont chacune transforme le document brut ou lui ajoute des propriétés ou des structures qu’il ne possédait pas. Heureusement, nous pouvons utiliser une série commune de séquences pour presque chaque système sérieux que nous bâtissons, quel que soit le sujet. Un document, comme un PDF, un fichier Word ou une page web, est d’abord transformé en images statiques de ses pages, converti en texte propre et structuré, et découpé en une hiérarchie étiquetée qui reflète la façon dont le document est réellement organisé. Chaque élément de cette hiérarchie reçoit une empreinte numérique qui capte son sens. Les empreintes rendent le corpus entier interrogeable par le sens plutôt que par mot-clé. À travers des collections de documents, de sections, ou même de phrases, une recherche récupère les éléments les plus pertinents. Ces réponses structurées deviennent les intrants de systèmes agentiques qui peuvent interpréter ces données pour bâtir des tableaux de bord, des outils sur mesure, ainsi que le texte explicatif, les images et l’audio destinés à l’auditoire humain. Et chaque étape de cette transformation est consignée, de sorte que la chaîne entière peut être auditée et reproduite.

Dit plus simplement, un véritable système d’IA a besoin de sept choses qu’un agent conversationnel ne fournit pas de lui-même : une **mémoire** durable de ce qu’il a vu, un moyen d’**extraire** une structure propre de sources désordonnées, un moyen de **récupérer** la bonne matière sur demande, les empreintes numériques, appelées **embeddings**, qui font fonctionner la récupération par le sens, une **recherche** bâtie sur celles-ci, une façon disciplinée de **générer** des sorties structurées, et une piste d’**audit** pour l’ensemble. Le système travaille avec des données structurées, et non du texte libre, ce qui aide à rendre chaque réponse comparable, dénombrable et traçable.


## §03 Extraire les mots

Le pipeline commence par rassembler les documents sources et par suivre la provenance de chacun. Chaque document consigne sa provenance, l’adresse exacte à laquelle il a été téléchargé, le moment où il a été téléchargé, sa taille, et une empreinte unique (le condensé MD5) de son contenu qui prouve que le fichier n’a pas été altéré durant le transfert. N’importe qui peut reconstruire la bibliothèque entière à partir de ce seul enregistrement et aboutir à l’ensemble identique de fichiers. Cette étape exige un jugement humain considérable pour établir les critères de sélection et valider que le jeu de données est complet. C’est ce que les gens veulent dire lorsqu’ils affirment qu’« il faut bien préparer les données » pour utiliser l’IA efficacement. Il n’y a pas de véritables raccourcis ici, car des experts humains doivent organiser ce contenu, et il constitue le fondement de tout ce qui suit.

Une partie de ce processus consiste à convertir les centaines de formats de fichiers différents que nous utilisons en une structure fiable. Les présentations PowerPoint, les documents Word et les PDF sont difficiles à lire de façon fiable pour les machines. Le texte à l’intérieur d’un PDF est souvent verrouillé dans une mise en page qui est perdue ou brouillée lorsque des outils ordinaires tentent de l’extraire, et les pages à plusieurs colonnes, les tableaux, les notes de bas de page et les modifications estampillées se désagrègent. Les graphiques et les diagrammes sont eux aussi fréquemment perdus lors de l’extraction du contenu destiné à l’IA, ce qui fait disparaître le contexte et l’intention de la connaissance source. Nous traitons donc les données de la même façon qu’un humain le ferait, en visualisant et en interprétant le contenu littéral, hiérarchique et symbolique comme des images visuelles. Chaque page de la matière source est découpée en pièces séparées de la taille d’une bouchée (appelées segments), prêtes pour l’analyse par l’IA. Les documents sources, et les images qui en sont dérivées, demeurent disponibles comme vérité de référence pour consultation ou contestation futures.

Chaque image de page est ensuite remise à un modèle d’IA évolué, dans notre cas Claude exécuté à l’intérieur de la Enterprise Agent Platform de Google, à qui l’on demande de lire la page et de renvoyer un texte propre et structuré qui préserve la structure à laquelle un examinateur tient : les titres, les numéros de section, les notes de bas de page, les marqueurs de page et toute mise en évidence. Ce format s’appelle le format Markdown et constitue l’un des deux formats de document importants que nous présenterons. Les documents portent un sens dans leurs structures et leurs relations, qui dépasse les mots sur la page. Cette lecture attentive et cette conversion au format Markdown coûtent davantage par page que l’extraction automatique de texte, plus simple et moins coûteuse (connue sous le nom de ROC), mais pour un texte juridique ou pédagogique dense, l’exactitude en vaut la peine, car chaque erreur introduite ici devient une reprise coûteuse en aval. La qualité doit être auditée à ce stade, et le pipeline évalué de près quant à sa qualité.

Le format Markdown préserve la mise en forme de la page, mais l’étape suivante interprète la forme du document lui-même. Les lois, les programmes d’études et les politiques ont tous leurs propres hiérarchies. Une loi se divise en parties, les parties en sections, les sections en articles, les articles en paragraphes et en alinéas, et enfin en phrases isolées. Pour comparer un élément de la législation de l’Alberta avec son équivalent dans une autre province, le système doit savoir quelle partie du document comparer. Et parce que chaque document est différent, et que chaque gouvernement utilise des formats et des normes différents, il est impossible de définir un gabarit rigide. Nous demandons à l’IA de comprendre et de définir une structure pour chaque document de façon dynamique. Le modèle lit le document en entier et décrit les conventions de rédaction logiques qu’il observe, puis balise le document niveau par niveau en ajoutant des étiquettes qui définissent chaque partie. Les documents sont délimités du plus général au plus précis, et chaque section est encore examinée et analysée plus en profondeur jusqu’à ce que même chaque phrase soit extraite individuellement et étiquetée au sein de cette hiérarchie. La comparaison devient possible entre les documents, leurs sections, leurs divisions et leurs articles, même lorsqu’ils ne se ressemblent en rien.

À chaque jonction, nous ajoutons des vérifications, en réassemblant le document fragmenté pour le reconstituer dans son ensemble, en veillant à ce que pas un seul caractère ne soit déplacé par rapport à son format d’origine. Retirez chaque étiquette, et le résultat doit être identique au texte original. C’est un test modeste mais important, aux conséquences importantes, car il signifie que la structure imposée par l’IA n’a jamais modifié en silence un seul mot du document.

Structure ajoutée, sans qu’un seul mot soit modifié 100 % aligné. Chaque document du corpus passe une vérification mécanique : retirez les étiquettes structurelles de l’IA, et le texte est identique, caractère pour caractère, à la source produite par le lecteur de pages. La structure n’est qu’une annotation qui donne du sens lors des étapes ultérieures.


## §04 Donner du sens aux mots

Le texte propre et structuré est lisible en entier ou en partie. Les mots sont prêts à être convertis en significations. L’étape suivante permet de rechercher et de comparer les documents et leurs fragments en fonction de leur sens et de la relation entre leurs concepts. Les fragments qui traitent de choses semblables se retrouvent avec des listes semblables, même lorsqu’ils ne partagent aucun vocabulaire, de sorte qu’un article portant sur « la protection de l’habitat aquatique » et un article portant sur « les eaux fréquentées par le poisson » se retrouvent l’un près de l’autre bien que les mots diffèrent. Nous utilisons un type particulier de modèle d’IA appelé « modèle d’embedding » pour convertir le sens en valeurs numériques qui sont stockées dans une base de données. Le système est configuré pour rechercher et trouver les correspondances les plus proches parmi des millions d’éléments presque instantanément. Pensez à chaque nombre comme à une empreinte numérique du sens de ce document ou d’une partie de celui-ci. Une fois calculées, ces valeurs sont statiques à moins que le texte lui-même ne change, ce qui rend la récupération et l’analyse rapides.

Ces empreintes numériques, appelées « embeddings » vectoriels, relations numériques et interrogeables entre les concepts, nous permettent de dépasser la recherche par mots-clés pour accéder à la recherche sémantique. Une personne peut saisir une expression comme « délais d’approbation discrétionnaires », et le système renvoie les fragments de l’ensemble de la bibliothèque dont les empreintes se situent le plus près de celle-ci, quels que soient les mots exacts qu’ils utilisent. Cela rend la récupération de l’information beaucoup plus humaine, puisque nos propres systèmes de mémoire sémantique fonctionnent de manière semblable. Cette étape de récupération est au cœur de ce que l’industrie appelle la génération augmentée par récupération (RAG). Au lieu de demander à un modèle de répondre à partir de sa mémoire générale, ce qui peut généralement produire des erreurs énoncées avec assurance, nous récupérons d’abord les passages précis et réels qui se rapportent à un sujet, puis nous les remettons au modèle comme point de départ. Les modèles d’IA sont très performants lorsque l’information de référence leur est fournie, et l’hallucination et les approximations disparaissent en grande partie.

Une fois les bonnes données ajoutées à l’invite comme contexte, on peut demander à un agent d’IA d’entreprendre une tâche complexe et structurée, et de convertir cette matière première en une forme hautement normalisée. Le système est contraint de répondre en utilisant un format de données structuré appelé JavaScript Object Notation, ou JSON, une norme de l’industrie pour la gestion de structures de données hiérarchiques et fiables. Une personne non spécialiste pourrait se le représenter comme un formulaire, où différents champs, appelés clés ou attributs, ne peuvent être remplis qu’avec des valeurs précises. Chaque réponse générée par l’IA revient avec les mêmes champs. De grandes quantités de tâches peuvent être confiées à l’IA, et le format de la réponse est toujours imposé. Parce que la forme est fixe, dix mille réponses peuvent être triées, comptées, filtrées et comparées. Cela dégage de véritables constats à partir de l’analyse, car les réponses aux questions peuvent être comparées et une analyse approfondie peut être effectuée par rapport à un vaste corpus de connaissances.

Les réponses structurées sont la matière première de tout ce qu’un humain examine en fin de compte. Ces sorties structurées de l’IA peuvent alimenter des tableaux de bord et des cartes thermiques, et peuvent classer l’information d’une manière qui permet la visualisation et l’examen. Elles fournissent aussi des formats prévisibles pour générer d’autres types de médias, comme du texte explicatif, des images générées et de l’audio narré, une analyse condensée qu’un cadre occupé peut assimiler. La machine assemble l’information en une structure claire et formule des recommandations. Ce sont toujours les personnes qui décident de ce que cela signifie.


## §05 Mémoire et audit

Une fois nos connaissances rendues interrogeables et récupérables, chaque requête que nous envoyons à un modèle peut enregistrer un ensemble d’entrées auditables. Les questions répétées renvoient des sorties très semblables, car les entrées sont définies par les embeddings et les sorties sont définies par les schémas JSON. Les entrées déterministes fournies à l’IA sont stockées, de sorte que nous comprenons ce que nous avons demandé au système et que nous savons comment il a entamé sa tâche. Et ses sorties sont stockées dans un format structuré, ce qui signifie qu’elles peuvent être suivies et évaluées au fil du temps afin de surveiller la performance du système. Au lieu de sorties textuelles créatives et libres, l’IA remplit un rapport structuré et fournit la preuve des raisons pour lesquelles elle a pris une décision, formulé une recommandation ou réalisé une analyse.

Cette structure permet un audit approfondi de la performance de l’IA. Chaque exécution d’analyse enregistre le raisonnement de l’IA : les documents qu’elle a vus, le modèle qu’elle a utilisé, la version de l’instruction qu’elle a suivie et la date à laquelle elle a été exécutée. L’analyse peut être réexécutée de nombreuses fois sur le même sujet et auditée pour déceler une dérive ou une différence. Et elle permet la comparaison entre les documents et la sortie de l’IA à mesure que le corpus lui-même évolue. Un examinateur peut comparer deux versions d’une loi et observer comment les réponses de l’IA changent. Si quelqu’un demande, six mois plus tard, pourquoi le système a recommandé une action particulière, nous pouvons montrer les articles précis que l’IA a pris en compte, la manière dont ils ont été comparés, la formulation qui a mené à la conclusion, et le corpus de connaissances plus large dont toute réponse a été tirée. C’est ce qui rend une analyse par l’IA suffisamment défendable pour être présentée à un décideur.


## §06 Un organisme de réglementation qui réduit les démarches administratives

Prenons un organisme de réglementation provincial ayant l’obligation légale de réduire les démarches administratives tout en préservant l’intention et l’intégrité de ses lois et de ses règlements. En Alberta, chaque ministère a l’obligation de repérer et de supprimer les processus, les retards et les chevauchements inutiles sans affaiblir les protections que les règles existent pour assurer. Pour un organisme de réglementation qui approuve des projets en vertu d’une vaste loi environnementale, la question pratique est précise : où notre propre législation oblige-t-elle un demandeur à en faire plus, ou à attendre plus longtemps, que ne l’exigent les règles équivalentes dans d’autres parties du pays, sans bénéfice environnemental? Y répondre à la main signifierait lire une loi entière en regard des lois d’une douzaine d’autres administrations, article par article, un processus dont l’exécution manuelle pourrait prendre des mois, voire des années, à une équipe.

Ce défi représentait une excellente occasion pour un tel pipeline de transformation des données. La propre loi de l’organisme de réglementation et ses règlements sont devenus la référence de base, et les lois équivalentes de chaque autre province, des territoires et de la Couronne fédérale ont été acheminées à travers les mêmes étapes décrites ci-dessus, avec des dizaines de lois provenant de quatorze administrations structurées, dotées d’empreintes numériques et interrogeables côte à côte. Pour chacun des deux cent soixante-cinq articles de la loi de référence, le système a trouvé l’article correspondant le plus proche dans chacune des autres administrations, ce qui a produit un peu moins de huit mille comparaisons précalculées. Il a ensuite lu chaque article de l’Alberta en regard de ses pairs à travers quatre angles définis du fardeau administratif : si la règle dicte comment faire quelque chose plutôt que le résultat à atteindre, si une approbation repose sur un pouvoir discrétionnaire illimité sans critères ni délai publiés, si une décision est assortie d’un quelconque délai, et si l’Alberta exige son propre permis pour quelque chose déjà autorisé ailleurs.

Le résultat a été un peu plus d’un millier d’observations, de conclusions et de recommandations structurées, chacune indiquant où l’Alberta est plus exigeante qu’un pair et, le cas échéant, nommant l’administration dont la formulation plus souple constitue le meilleur modèle, accompagnée d’une suggestion concrète sur la façon dont l’Alberta pourrait atteindre la même protection avec moins de frictions. Parce que l’IA produit des sorties structurées, les conclusions se regroupent dans une carte thermique qu’un examinateur peut lire d’un coup d’œil, par domaine, par angle, et selon l’administration pairesse qui revient le plus souvent comme exemple le plus net. Chaque conclusion remonte jusqu’à la page de la source dont elle provient, de sorte qu’une recommandation peut être évaluée et défendue jusqu’à l’article. Les angles ne recherchent que le fardeau sans bénéfice, et il est explicitement indiqué à l’analyse d’écarter tout cas où l’Alberta est simplement plus protectrice.

Pour étalonner une loi par rapport au pays environ 200 $. Faire passer 31 lois de quatorze administrations par l’ensemble du pipeline a coûté environ deux cents dollars en utilisation des modèles. Le même pipeline fonctionne pour d’autres sujets, comme la réglementation interprovinciale, la santé au travail, la protection de la vie privée ou le droit fiscal. Seuls les documents et les considérations changent.

À la suite de cette analyse, l’organisme de réglementation dispose maintenant d’une base de données probantes, constituée en quelques heures, qui transforme une question politique en constats étalonnés. Les produits des agents présentent les articles précis où l’Alberta pourrait exiger davantage des industries réglementées que ses pairs et présentent une gamme d’options de formulation et de processus que l’organisme de réglementation peut envisager. L’outil n’est pas propre à l’environnement. Remplacez le corpus et les objectifs par les documents et les définitions de la réussite d’un autre ministère, et le pipeline identique étalonne n’importe quel corps de droit. Nous avons appliqué ce modèle d’analyse approfondie et d’étalonnage des dizaines de fois au cours de la dernière année, sur des sujets très variés, pour éclairer la stratégie et donner aux dirigeants une base défendable pour une décision.

"Les métadonnées changent d’un ministère à l’autre. Le pipeline reste le même." · Document 21 · La forme des données


## §07 Bon pour les gens, pas pour l’IA

Le programme d’études de la maternelle à la 12e année de l’Alberta est publié, ouvertement et bien, sur LearnAlberta.ca. Pour un parent qui en fait la lecture un mardi soir, un enseignant qui planifie un module ou un élève qui cherche un renseignement, c’est une ressource véritablement de qualité, organisée en pages claires qu’une personne peut parcourir. C’est exactement le genre d’information publique ouverte qu’un gouvernement devrait fournir. Mais sous sa forme publiée, il est presque inutilisable pour une IA. Le contenu est réparti sur des milliers de pages Web distinctes et des centaines de fichiers PDF, il est porté par deux cadres de programmes d’études différents qui organisent les mêmes matières de façons différentes, une grande partie est enfermée dans des documents, et rien de tout cela ne porte la structure ni les empreintes numériques dont une machine a besoin pour raisonner à son sujet. Il a été conçu pour qu’une personne en fasse la lecture, et un agent d’IA ne peut pas s’en servir tant qu’il n’est pas reconstruit.

Nous avons mis au point un agent chargé de parcourir ce programme d’études et de le faire passer par ce pipeline de traitement des données. Un agent robot d’indexation a recueilli systématiquement chaque page du programme et chaque document lié, plus de deux mille quatre cents fichiers en tout, et le lecteur de pages a transformé quarante-deux mille pages de PDF en texte propre. Le matériel a été étiqueté avec plus de cinquante mille « balises » de programme d’études, chacune étant un résultat d’apprentissage ou une partie de celui-ci, un ensemble de matières et un niveau scolaire. Le système public de gestion de l’apprentissage est devenu une base de données lisible par l’IA de matériels, d’objectifs et de résultats d’apprentissage, avec des ensembles de connaissances structurés et indexés qu’un outil d’IA peut interroger par matière, par niveau scolaire et sur l’ensemble de leur texte.

Pour rendre le programme d’études d’une province prêt pour l’IA environ 2 500 $. Transformer l’ensemble du programme d’études publié de la maternelle à la 12e année en un substrat prêt pour l’IA a coûté environ deux mille cinq cents dollars en utilisation des modèles. Un gouvernement peut le faire une seule fois, et ensuite n’importe quel Albertain, un parent, un enseignant, un élève, peut bâtir par-dessus.

Le programme d’études étant déjà extrait, structuré et étiqueté par niveau scolaire et par matière, il devient possible de construire de nouveaux outils, ressources, plans de leçon et même de nouvelles applications entièrement alignés sur le programme en quelques minutes. Une fois les données traitées, il a fallu moins d’une heure pour commencer à construire de nouvelles solutions d’apprentissage par-dessus ce programme d’études lisible par machine. Le ministère de la Technologie et de l’Innovation a créé un petit jeu d’apprentissage adapté au niveau scolaire, appelé Age of Alberta, qui offrait une expérience interactive ludifiée dans le style d’Age of Empires de Microsoft, où le jeu reposait sur des exercices de mathématiques, de lecture et de devoirs alignés sur le programme. Le jeu n’a pris qu’une heure à construire comme prototype parce que les données étaient prêtes à être interprétées par l’IA. Un gouvernement peut rendre un vaste corpus public prêt pour l’IA une seule fois, pour le prix d’un ordinateur portable modeste, et, ce faisant, remettre à chaque parent, enseignant et élève de la province la matière première pour construire ses propres outils par-dessus, en une après-midi. L’apprentissage est ancré dans les faits, axé sur les résultats du programme d’études et prêt pour les outils d’IA que les parents, les enseignants et les élèves utilisent déjà.

"Parce que les données étaient prêtes pour l’IA, construire une expérience d’apprentissage personnalisée, alignée sur le programme d’études et adaptée à l’âge n’a pris qu’une heure et a été réalisé pour moins de 4 $." · Document 21 · La forme des données


## §08 Construire des couches de traitement des données réutilisables

Ces deux systèmes semblent sans rapport, l’un un étalonnage juridique pour un régulateur et l’autre un programme d’études pour une salle de classe, mais en dessous, ils sont la même machine. Des documents entrent, de la structure et des empreintes numériques au milieu, des réponses structurées et auditées sortent, et un corps de connaissances durable est laissé derrière. Nous avons construit ce même pipeline pour la législation, pour les programmes d’études, pour les politiques, pour de vastes corps de documentation technique, et pour la recherche sur les marchés et la concurrence dans une gamme de secteurs, des dizaines de fois au cours de la dernière année. Chaque fois, le sujet change, et les définitions de ce qui compte changent, et le pipeline ne change pas.

Une fois les données organisées, et pour peu de frais, il devient rapide de construire des outils et des constats utiles avec célérité. Mieux encore, ils sont construits pour presque aucun coût et ancrés dans des données réelles et fiables. Les solutions portent les données probantes nécessaires pour être contestées, auditées et pour amorcer des conversations sérieuses sur la façon d’introduire l’IA dans un ministère ou une profession donnés. Un prototype d’analyse réglementaire peut être réalisé en quelques heures pour un travail qui serait acquis et réalisé manuellement sur une année. Et le travail est auditable, parce que le pipeline de traitement des données montre exactement avec quoi l’IA a travaillé, et il peut être recréé et étalonné. Des pratiques rigoureuses de gestion des données sont nécessaires, mais les retombées sont profondes.

Pour un dirigeant qui décide comment investir dans l’IA, la leçon est de cesser d’acheter des conversations clavardées et de commencer à construire des pipelines de données et des systèmes de mémoire. Un outil de clavardage répond rapidement à la question d’aujourd’hui, mais l’oublie tout aussi vite. Un pipeline transforme un corps d’information en un actif durable, structuré et auditable qui répond à cette question et aux cent suivantes, sur lequel d’autres outils peuvent être construits, et qui, lorsque l’information est publique, devient un bien public. L’agent conversationnel est la partie que tout le monde peut voir. Le pipeline est la partie qui compte, et il coûte bien moins cher à construire que la plupart ne le pensent. Voilà ce qu’il faut pour rendre l’information prête pour l’IA, et c’est à la portée de tout gouvernement, et de tout Albertain, disposé à le construire.

Tags: data-pipeline, rag, embeddings, benchmarking, open-data, ai-systems

Open the interactive version