No. 21 · Technical

La forma de los datos

Convertir la información en conocimiento estructurado, consultable y auditable sobre el que una IA pueda razonar.

Abstract. La transición de una demostración de IA a un despliegue real es un proceso difícil para la mayoría de las organizaciones. El principal obstáculo es preparar los datos de la organización para que sean compatibles con la IA. Los sistemas de IA eficaces, confiables y auditables requieren una cadena de transformación de datos que convierta documentos ordinarios en conocimiento estructurado, consultable y auditable sobre el que un modelo pueda razonar. Este documento recorre esa cadena etapa por etapa y explica cómo un gobierno puede preparar su amplio acervo público para la IA una sola vez, por unos pocos miles de dólares, y permitir que cualquier persona construya sobre esa base.
La mayoría de las demostraciones de herramientas de inteligencia artificial resultan impresionantes durante unos cinco minutos. Alguien carga una carpeta de documentos en una herramienta de conversación, plantea una pregunta en lenguaje cotidiano y recibe una respuesta fluida en cuestión de segundos. La sala queda impresionada, y con razón, porque las herramientas y los modelos que hacen esto son genuinamente potentes. El problema aparece en el momento en que el trabajo debe ser reproducible, correcto en lugar de meramente fluido, comparable entre miles de elementos en vez de respondido de uno en uno, y justificable meses después cuando alguien pregunta cómo llegó el sistema a su conclusión. Eso es lo que la mayoría de los trabajos de gobierno realmente necesita, y no es lo que puede hacer un asistente conversacional con un montón de archivos.

Durante el último año, el Ministerio de Tecnología e Innovación ha desarrollado sistemas que realizan este trabajo más exigente para ministerios de todo Alberta. Estos sistemas leen bibliotecas completas de legislación, el currículo provincial íntegro y grandes volúmenes de documentación de políticas y documentación técnica, y convierten ese material en bruto en conocimiento sobre el que una IA puede razonar de manera fiable, citar con precisión y rendir cuentas. Detrás de cada uno de estos sistemas se encuentra la misma infraestructura: una cadena de procesamiento que toma documentos ordinarios y los prepara, en una palabra, para la IA. Este documento explica esa cadena en lenguaje accesible, de modo que una persona directiva que nunca escribirá una línea de código pueda entender lo que realmente se necesita para construir un sistema de IA digno de confianza, y pueda distinguir entre una demostración y un sistema confiable.


## §01 Por qué las herramientas sencillas no son suficientes

Las herramientas de IA más utilizadas hoy en día son los asistentes conversacionales. Microsoft Copilot se integra en los documentos con los que las personas ya trabajan y redacta, resume y responde preguntas sobre ellos. NotebookLM, de Google, toma un conjunto de fuentes que el usuario le proporciona y permite consultarlas, e incluso genera un resumen de audio ordenado. Estas herramientas son excelentes, y Alberta las utiliza. Para leer un informe extenso, redactar un memorando u orientarse en un puñado de archivos, ahorran tiempo real, y las recomendamos exactamente para eso.

Estas herramientas fueron diseñadas para una persona que trabaja con un conjunto pequeño y temporal de documentos, y ese es el límite de su diseño. Conservan los archivos solo durante la duración de una sesión, con una cantidad limitada de texto visible a la vez, por lo que no pueden mantener en mente el acervo completo de un ministerio. Responden en prosa fluida, que se lee bien pero no puede ordenarse, contarse ni compararse entre diez mil elementos. Resumirán una cláusula, pero no indicarán de forma fiable qué cláusula, en qué página y de qué documento proviene la respuesta, y no conservan ningún registro duradero que pueda auditarse posteriormente. Cuando la sesión termina, la respuesta desaparece y nada queda construido; no se genera un acervo de conocimiento estructurado y compartido sobre el que pueda apoyarse la siguiente persona o la siguiente herramienta. Reproducir una respuesta exacta o preservar el razonamiento que la sustenta es con frecuencia imposible.

El uso de la IA para tareas gubernamentales complejas falla cuando no es posible auditar el trabajo. Una decisión de gabinete debe rastrearse hasta su evidencia. Un análisis comparativo entre catorce jurisdicciones debe ser justificable y estar fundamentado en principios racionales y medibles, o la comparación carece de valor. Y el valor debe perdurar más allá de una sola pregunta o interacción, porque el siguiente programa —y el que le siga— necesitará el mismo acervo de conocimiento. Para ello, los documentos en sí deben ser reorganizados en algo con lo que una IA pueda trabajar a escala. Esta reorganización requiere un enfoque sistemático para transformar la información de formatos incompatibles en perspectivas legibles por la IA, y es un paso esencial en la construcción de cualquier producto basado en inteligencia.


## §02 Qué significa estar preparado para la IA

Preparar información para la IA consiste en conducirla a través de una secuencia fija de pasos, cada uno de los cuales transforma el documento en bruto o le añade propiedades y estructuras que no tenía. Afortunadamente, podemos utilizar una serie común de secuencias para prácticamente todos los sistemas serios que construimos, independientemente de la materia. Un documento —como un PDF, un archivo de Word o una página web— se transforma primero en imágenes estáticas de sus páginas, luego se convierte en texto estructurado y limpio, y se divide en una jerarquía etiquetada que refleja la organización real del documento. Cada fragmento de esa jerarquía recibe una huella numérica que captura su significado. Estas huellas hacen que todo el acervo sea consultable por significado en lugar de por palabra clave. En colecciones de documentos, secciones o incluso oraciones, una búsqueda recupera las piezas más relevantes. Esas respuestas estructuradas se convierten en los insumos para los sistemas de IA agéntica, que pueden interpretar estos datos para construir paneles, herramientas personalizadas y el texto explicativo, las imágenes y el audio para la audiencia humana. Y cada paso de esta transformación queda registrado, de modo que toda la cadena puede auditarse y reproducirse.

Dicho de manera más sencilla, un sistema de IA real necesita siete cosas que un asistente conversacional no proporciona por sí solo: una **memoria** duradera de lo que ha procesado, una forma de **extraer** estructura limpia de fuentes desordenadas, una forma de **recuperar** el material adecuado cuando se necesite, las huellas numéricas —llamadas **representaciones vectoriales** (embeddings)— que hacen posible la recuperación por significado, una **búsqueda** construida sobre ellas, una forma disciplinada de **generar** resultados estructurados y un **registro de auditoría** de todo el proceso. El sistema trabaja con datos estructurados, no con texto suelto, lo que contribuye a que cada respuesta sea comparable, cuantificable y trazable.


## §03 Extraer las palabras

La cadena de procesamiento comienza por reunir los documentos fuente y registrar la procedencia de cada uno. Cada documento captura su origen: la dirección exacta desde la que fue descargado, el momento de la descarga, su tamaño y una huella única (el hash MD5) de su contenido, que demuestra que el archivo no fue alterado durante la transferencia. Cualquier persona puede reconstruir toda la biblioteca a partir de ese registro y llegar al conjunto idéntico de archivos. Este paso requiere un juicio humano significativo para establecer los criterios de selección y validar que el conjunto de datos está completo. A esto se refieren quienes dicen «es necesario tener los datos en orden» para usar la IA de manera efectiva. No existen atajos reales aquí, porque expertas y expertos humanos deben curar este contenido, que constituye el fundamento de todo lo que sigue.

Parte de este proceso consiste en convertir los cientos de formatos de archivo distintos que utilizamos en una estructura confiable. Las presentaciones de PowerPoint, los documentos de Word y los PDF son difíciles de leer de manera fiable para las máquinas. El texto dentro de un PDF con frecuencia está encerrado en una maquetación que se pierde o se desordena cuando las herramientas convencionales intentan extraerlo, y las páginas de varias columnas, las tablas, las notas al pie y las enmiendas marcadas se desintegran. Los gráficos y las figuras también se pierden con frecuencia al extraer el contenido para la IA, lo que hace perder el contexto y la intención del conocimiento original. Por eso tratamos los datos de la misma manera en que lo haría una persona: visualizando e interpretando el contenido literal, jerárquico y simbólico como imágenes visuales. Cada página del material fuente se divide en fragmentos manejables (conocidos como chunks), listos para el análisis por IA. Los documentos fuente y sus imágenes derivadas permanecen disponibles como referencia autorizada para consultas o impugnaciones futuras.

Cada imagen de página se entrega a continuación a un modelo de IA avanzado —en nuestro caso, Claude ejecutándose dentro de la plataforma Enterprise Agent de Google—, al que se le solicita que lea la página y devuelva texto estructurado y limpio que preserve la estructura que interesa a quien revisa: los encabezados, los números de sección, las notas al pie, los marcadores de página y cualquier énfasis. Este formato se denomina «markdown» y es uno de los dos formatos de documento importantes que presentaremos. Los documentos transmiten significado a través de sus estructuras y relaciones, que van más allá de las palabras en la página. Esta lectura cuidadosa y la conversión a markdown tienen un costo mayor por página que la extracción de texto automática más sencilla y económica (conocida como OCR), pero para texto legal o curricular denso la precisión lo justifica, porque cada error introducido aquí se convierte en retrabajos costosos más adelante. La calidad en este punto debe auditarse y la cadena de procesamiento evaluarse de cerca.

El formato markdown preserva la maquetación de la página, pero el paso siguiente interpreta la estructura del propio documento. La legislación, los currículos y las políticas tienen cada uno su propia jerarquía. Una ley se divide en partes, las partes en divisiones, las divisiones en secciones, las secciones en subsecciones y párrafos y, finalmente, en oraciones individuales. Para comparar un artículo de la legislación de Alberta con el equivalente de otra provincia, el sistema debe saber qué parte del documento comparar. Y como cada documento es diferente, y cada gobierno utiliza formatos y estándares distintos, es imposible definir una plantilla rígida. Le pedimos a la IA que comprenda y defina dinámicamente una estructura para cada documento. El modelo lee el documento completo y describe las convenciones de redacción lógicas que identifica, luego marca el documento nivel por nivel añadiendo etiquetas que definen cada parte. Los documentos se analizan de lo general a lo particular, y cada sección se revisa y analiza con mayor profundidad hasta que incluso cada oración se extrae individualmente y se etiqueta dentro de esta jerarquía. La comparación es posible entre documentos, sus secciones, divisiones y cláusulas, incluso cuando tienen apariencias completamente distintas.

En cada punto de la cadena añadimos verificaciones: se rearma el documento fragmentado hasta reconstituirlo íntegramente, asegurándonos de que no haya un solo carácter fuera de lugar respecto a su formato original. Si se eliminan todas las etiquetas, el resultado debe ser idéntico al texto original. Es una prueba pequeña pero importante con una consecuencia de peso, porque significa que la estructura que impuso la IA nunca modificó silenciosamente ni una sola palabra del documento.

Se añade estructura, no se cambia ninguna palabra 100 % de correspondencia. Todos los documentos del corpus pasan una verificación automática: al eliminar las etiquetas estructurales de la IA, el texto es idéntico, carácter por carácter, al texto de origen producido por el lector de páginas. La estructura es simplemente una anotación que aporta significado en los pasos siguientes.


## §04 Dar significado a las palabras

El texto limpio y estructurado es legible en su totalidad o en parte. Las palabras están listas para convertirse en significados. El paso siguiente permite buscar y comparar documentos y sus fragmentos según su significado y la relación entre sus conceptos. Los fragmentos que tratan temas similares acaban con listas similares, aunque no compartan vocabulario: así, una cláusula sobre «proteger el hábitat acuático» y una cláusula sobre «aguas con peces» quedan próximas entre sí aunque las palabras difieran. Se utiliza un tipo especial de modelo de IA denominado «modelo de incrustación» para convertir el significado en valores numéricos que se almacenan en una base de datos. El sistema está configurado para buscar y encontrar las coincidencias más cercanas entre millones de elementos de forma casi instantánea. Piense en cada número como una huella del significado de ese documento o de una parte de él. Una vez calculados, estos valores son estáticos salvo que el propio texto cambie, lo que hace que la recuperación y el análisis sean rápidos.

Estas llamadas «incrustaciones vectoriales» — relaciones numéricas y buscables entre conceptos — permiten ir más allá de la búsqueda por palabras clave hacia la búsqueda semántica. Una persona puede escribir una frase como «plazos de aprobación discrecional» y el sistema devuelve los fragmentos de toda la biblioteca cuyas huellas están más próximas a ella, independientemente de las palabras exactas que utilicen. Esto hace que la recuperación de información sea mucho más natural, ya que nuestros propios sistemas de memoria semántica funcionan de manera similar. Este paso de recuperación es el núcleo de lo que la industria denomina generación aumentada por recuperación. En lugar de pedir al modelo que responda desde su memoria general — lo que puede producir errores con apariencia de certeza —, primero se recuperan los pasajes reales y específicos relacionados con un tema y luego se le entregan al modelo como punto de partida. Los modelos de IA ofrecen resultados muy buenos cuando se les proporciona la información de referencia, y las alucinaciones y las conjeturas desaparecen en gran medida.

Al añadir los datos correctos a la instrucción como contexto, se puede pedir a un agente de IA que realice una tarea compleja y estructurada, y que convierta ese material en bruto en una forma muy estandarizada. El sistema está configurado para responder utilizando un formato de datos estructurados llamado JavaScript Object Notation, o JSON, un estándar del sector para gestionar estructuras de datos jerárquicas y fiables. Una persona no especialista puede imaginarlo como un formulario en el que distintos campos, conocidos como claves o atributos, solo pueden rellenarse con valores específicos. Cada respuesta generada por la IA devuelve siempre los mismos campos. Es posible asignar grandes volúmenes de tareas a la IA, y el formato de la respuesta se aplica en todo momento. Al ser el formato fijo, diez mil respuestas pueden ordenarse, contarse, filtrarse y compararse. Esto genera perspectivas reales a partir del análisis, ya que las respuestas a las preguntas pueden compararse y realizarse análisis en profundidad sobre un corpus extenso de conocimiento.

Las respuestas estructuradas son la materia prima de todo lo que una persona revisa al final. Estos resultados de la IA en formato estructurado pueden alimentar tableros de control y mapas de calor, y permiten ordenar la información de una manera que facilita su visualización y revisión. También proporcionan formatos predecibles para generar otros tipos de contenido, como texto explicativo, imágenes generadas y audio narrado —un análisis condensado que un directivo ocupado puede asimilar fácilmente—. La máquina organiza la información en una estructura clara y formula recomendaciones. Las personas siguen siendo quienes deciden qué significa.


## §05 Memoria y auditoría

Una vez que nuestro conocimiento es indexable y recuperable, cada solicitud que enviamos a un modelo puede registrar un conjunto auditable de entradas. Las preguntas repetidas devuelven resultados muy similares porque las entradas están definidas por los vectores de representación y las salidas están definidas por los esquemas JSON. Las entradas deterministas que se envían a la IA quedan almacenadas, de modo que sabemos qué le pedimos al sistema y cómo inició su tarea. Sus resultados también se guardan en un formato estructurado, lo que permite rastrearlos y evaluarlos a lo largo del tiempo para supervisar el rendimiento del sistema. En lugar de generar texto libre y creativo, la IA completa un informe estructurado y proporciona la evidencia de por qué tomó una decisión, formuló una recomendación o realizó un análisis.

Esta estructura permite una auditoría profunda del desempeño de la IA. Cada análisis ejecutado registra el razonamiento de la IA: los documentos que consultó, el modelo que utilizó, la versión de la instrucción que siguió y la fecha en que se ejecutó. El análisis puede repetirse múltiples veces sobre el mismo tema y auditarse para detectar variaciones o diferencias. Además, permite comparar los documentos con los resultados de la IA a medida que el corpus mismo cambia. Una persona revisora puede comparar dos versiones de una ley y observar cómo varían las respuestas de la IA. Si alguien pregunta, seis meses después, por qué el sistema recomendó una acción determinada, podemos mostrar las cláusulas precisas que la IA consideró, cómo se compararon, la redacción que condujo a la conclusión y el cuerpo de conocimiento más amplio del que se extrajo la respuesta. Eso es lo que hace que un análisis de IA sea lo suficientemente defendible como para presentarlo ante quien toma decisiones.


## §06 Un organismo regulador que reduce la burocracia

Considere un organismo regulador provincial con la obligación legal de reducir los trámites burocráticos sin menoscabar el propósito ni la integridad de sus leyes y reglamentos. En Alberta, cada ministerio tiene la obligación de identificar y eliminar procesos innecesarios, demoras y duplicaciones, sin debilitar las protecciones que las normas están destinadas a garantizar. Para un organismo regulador que aprueba proyectos bajo una extensa ley ambiental, la pregunta práctica es precisa: ¿en qué puntos nuestra propia legislación exige a quien solicita una aprobación hacer más, o esperar más tiempo, de lo que requieren normas equivalentes en otras partes del país, sin ningún beneficio ambiental? Responder esa pregunta de forma manual implicaría leer una ley completa cotejándola con las leyes de una docena de otras jurisdicciones, cláusula por cláusula —un proceso que podría llevarle meses o años a un equipo de trabajo.

Este desafío fue una oportunidad excelente para aplicar un proceso de transformación de datos. La ley propia del organismo regulador y sus reglamentos se convirtieron en la línea de base, y las leyes equivalentes de todas las demás provincias, los territorios y la Corona federal se procesaron siguiendo los mismos pasos descritos anteriormente: decenas de leyes de catorce jurisdicciones, estructuradas, con huella digital y consultables de forma comparativa. Para cada una de las doscientas sesenta y cinco secciones de la ley de referencia, el sistema encontró la sección más similar en cada una de las otras jurisdicciones, lo que produjo cerca de ocho mil comparaciones precalculadas. A continuación, comparó cada sección de Alberta con sus equivalentes a través de cuatro criterios definidos de carga administrativa: si la norma prescribe cómo hacer algo en lugar del resultado que se debe alcanzar; si una aprobación depende de una discrecionalidad abierta sin criterios publicados ni plazos; si una decisión tiene algún límite temporal; y si Alberta exige su propio permiso para algo que ya está autorizado en otro lugar.

El resultado fue algo más de mil observaciones, hallazgos y recomendaciones estructurados, cada uno señalando dónde Alberta es más exigente que una jurisdicción comparable y, cuando lo es, identificando la jurisdicción cuya redacción menos gravosa es el mejor modelo, junto con una sugerencia concreta de cómo Alberta podría lograr la misma protección con menos trámites. Dado que la IA produce resultados estructurados, los hallazgos se consolidan en un mapa de calor que una persona revisora puede leer de un vistazo: por área temática, por criterio y por qué jurisdicción comparable aparece con mayor frecuencia como el ejemplo más claro. Cada hallazgo remite a la página de la fuente de la que proviene, de modo que una recomendación puede evaluarse y justificarse hasta la cláusula específica. Los criterios buscan únicamente cargas sin beneficio, y el análisis recibe instrucción explícita de dejar de lado cualquier caso en que Alberta simplemente ofrezca mayor protección.

Para comparar una ley con el resto del país alrededor de 200 dólares. Procesar treinta y un leyes de catorce jurisdicciones a través del proceso completo costó alrededor de doscientos dólares en uso del modelo. El mismo proceso funciona para otros temas, como la regulación interprovincial, la salud laboral, la privacidad o el derecho tributario. Solo cambian los documentos y los criterios de análisis.

A partir de este análisis, el organismo regulador dispone ahora de una base de evidencia, construida en pocas horas, que convierte una cuestión política en información comparativa. Los resultados de los agentes señalan cláusulas concretas en las que Alberta podría estar exigiendo más a los sectores regulados que sus pares, y presentan al organismo regulador una variedad de opciones en cuanto a redacción y proceso. La herramienta no es específica al ámbito medioambiental. Si se sustituyen el corpus y los objetivos por los documentos y los criterios de éxito de otro ministerio, el mismo proceso realiza comparativas sobre cualquier cuerpo normativo. A lo largo del último año hemos aplicado este modelo de análisis profundo y comparación en docenas de ocasiones, sobre temas muy diversos, para orientar la estrategia y ofrecer a los líderes una base sólida y justificable para tomar decisiones.

"Los metadatos cambian de un ministerio a otro. El proceso permanece igual." · Documento 21 · La forma de los datos


## §07 Útil para las personas, no para la IA

El currículo de educación primaria y secundaria de Alberta está publicado de manera abierta y accesible en LearnAlberta.ca. Para un padre que consulta el sitio un martes por la noche, un docente que planifica una unidad didáctica o un estudiante que busca información, es un recurso genuinamente útil, organizado en páginas claras que cualquier persona puede navegar. Es exactamente el tipo de información pública abierta que un gobierno debería ofrecer. Sin embargo, en su forma publicada resulta casi inutilizable para una IA. El contenido está distribuido en miles de páginas web independientes y cientos de archivos PDF, se enmarca en dos sistemas curriculares distintos que organizan las mismas asignaturas de formas diferentes, gran parte está encerrada dentro de documentos, y ninguna parte lleva la estructura ni las características que una máquina necesita para razonar sobre él. Fue diseñado para que una persona lo leyera, y un agente de IA no puede trabajar con él hasta que se reconstruya.

Desarrollamos un agente para navegar por este currículo y procesarlo a través de este proceso de tratamiento de datos. Un agente rastreador recopiló de forma sistemática cada página del currículo y cada documento vinculado —más de dos mil cuatrocientos archivos en total—; el lector de páginas convirtió cuarenta y dos mil páginas de PDF en texto limpio. El material fue etiquetado con más de cincuenta mil «etiquetas» curriculares, cada una de ellas correspondiente a un resultado de aprendizaje o a una parte de uno, junto con un conjunto de asignaturas y un nivel de curso. El sistema público de gestión del aprendizaje se convirtió en una base de datos legible por IA de materiales, objetivos y resultados de aprendizaje, con conjuntos de conocimiento estructurados e indexados que una herramienta de IA puede consultar por asignatura, por curso y en su texto completo.

Para preparar el currículo de una provincia para la IA unos 2 500 dólares. Convertir todo el currículo de educación básica y media publicado en una base de datos lista para la IA costó aproximadamente dos mil quinientos dólares en uso del modelo. Un gobierno puede hacer esto una sola vez y, a partir de entonces, cualquier persona en Alberta —una madre o un padre, una persona docente, un estudiante— puede aprovecharla.

Con el currículo ya extraído, estructurado y etiquetado por curso y asignatura, es posible desarrollar nuevas herramientas, recursos, planes de lección e incluso nuevas aplicaciones completamente alineadas con el currículo en cuestión de minutos. Una vez procesados los datos, bastó menos de una hora para comenzar a construir nuevas soluciones de aprendizaje sobre este currículo legible por máquina. El Ministerio de Tecnología e Innovación creó un pequeño juego de aprendizaje adaptado al nivel del estudiante, llamado Age of Alberta, que ofrece una experiencia interactiva y lúdica inspirada en el estilo de Age of Empires de Microsoft, donde las mecánicas de juego son ejercicios de matemáticas, lectura y tareas escolares alineados con el currículo. El juego tardó solo una hora en desarrollarse como prototipo porque los datos ya estaban listos para su interpretación por IA. Un gobierno puede preparar una vez un amplio corpus público para la IA —por el precio de un ordenador portátil modesto— y, al hacerlo, poner a disposición de cada padre, docente y estudiante de la provincia el material base para que desarrollen sus propias herramientas en una tarde. El aprendizaje se fundamenta en hechos, está orientado a los resultados del currículo y está listo para las herramientas de IA que padres, docentes y estudiantes ya utilizan.

"Dado que los datos estaban preparados para la IA, desarrollar una experiencia de aprendizaje personalizada, alineada con el currículo y adecuada a la edad del estudiante tomó solo una hora y tuvo un costo inferior a 4 dólares." · Documento 21 · La forma de los datos


## §08 Construcción de capas reutilizables de procesamiento de datos

Estos dos sistemas parecen no tener relación —uno es una comparativa normativa para un organismo regulador y el otro es un currículo escolar—, pero en el fondo son la misma máquina. Documentos como entrada, estructura y características en el proceso intermedio, respuestas estructuradas y auditadas como salida, y un cuerpo de conocimiento duradero que queda disponible. Hemos construido este mismo proceso para legislación, para currículos, para políticas públicas, para grandes volúmenes de documentación técnica y para investigación de mercado y análisis competitivo en distintos sectores, en docenas de ocasiones durante el último año. Cada vez cambia el tema y cambian los criterios de lo que importa; el proceso no cambia.

Una vez que los datos están curados, y con un costo reducido, es posible desarrollar herramientas e información valiosas de forma rápida. Lo mejor de todo es que se construyen con un costo casi nulo y se fundamentan en datos reales y fiables. Las soluciones incluyen la evidencia necesaria para ser cuestionadas, auditadas e iniciar conversaciones serias sobre cómo incorporar la IA en un ministerio o una profesión determinados. Un prototipo de análisis regulatorio puede completarse en horas, frente a un trabajo que, contratado y realizado de forma manual, llevaría un año. Además, el trabajo es auditable, porque el proceso de tratamiento de datos muestra exactamente con qué trabajó la IA y puede reproducirse y compararse. Se requieren prácticas rigurosas de gestión de datos, pero el beneficio es considerable.

Para un líder que decide cómo invertir en IA, la lección es dejar de comprar conversaciones de chat y empezar a construir procesos de datos y sistemas de memoria. Una herramienta de chat responde rápidamente a la pregunta de hoy, pero olvida con la misma rapidez. Un proceso convierte un conjunto de información en un activo duradero, estructurado y auditable que responde a esta pregunta y a las cien siguientes, sobre el que se pueden construir otras herramientas, y que, cuando la información es pública, se convierte en un bien público. El chatbot es la parte que todo el mundo ve. El proceso es la parte que importa, y cuesta mucho menos construirlo de lo que la mayoría espera. Eso es lo que se necesita para que la información esté lista para la IA, y está al alcance de cualquier gobierno —y de cualquier persona en Alberta— que esté dispuesto a construirlo.

Tags: data-pipeline, rag, embeddings, benchmarking, open-data, ai-systems

Open the interactive version