No te falta un modelo más grande. Te falta ordenar el manual / You don’t need a bigger model. You need a tidier manual

0
7

Un modelo de dos mil millones de parámetros, del tamaño que corre en un celular, respondió mejor sobre un equipo que GPT-4o. La diferencia no estuvo en el modelo. Estuvo en cómo estaba guardada la información.

El experimento

Ludwig, Schmidt y Kühn (2025), de la Universidad Técnica de Dresde, construyeron un asistente de mantenimiento por voz: el técnico pregunta en voz alta, con las manos ocupadas, y el sistema responde.

Modelaron un sistema de filtración como una ontología formal —93 clases, 222 elementos concretos, 376 relaciones entre ellos— a partir de los manuales del fabricante y de la experiencia del personal. No es un PDF indexado: es un grafo donde “renovar filtro” contiene el paso “sustituir celda primaria”, y ese paso tiene la instrucción de seguridad “usar ropa de protección”. La relación está escrita, no inferida.

Luego generaron 1.348 preguntas sobre el contenido de ese sistema y compararon tres formas de responderlas —búsqueda por texto plano, el GraphRAG de Microsoft y su método basado en la ontología— con tres modelos de lenguaje de tamaños muy distintos.

El modelo pequeño es el que más gana

Con búsqueda de texto convencional, el modelo más pequeño (Gemma 2B) acertó el 60,5% de las respuestas. Con el mismo modelo, la misma pregunta y la información organizada como ontología: 85,7% usando el contexto más compacto —apenas unos 600 caracteres— y 80% al ampliarlo con los elementos vecinos del grafo.

GPT-4o también mejoró, de 92,9% a 97,6%. Pero la brecha se cerró: la estructura le sirvió más al modelo débil que al fuerte. Cuando el contexto está bien armado, la potencia del modelo importa menos.

Hay un segundo dato, y es el que interesa a quien paga la factura. El contexto que necesitó el método basado en ontología fue 27% más chico que el del RAG de texto, para el mismo nivel de completitud. El GraphRAG de Microsoft alcanzó completitud total, sí: con un contexto catorce veces mayor. Menos tokens, menos latencia, y una conversación por voz que no se corta.

Y una advertencia incómoda

En el manual del sistema de filtración, la escala de prioridad de errores estaba invertida: el 3 era el más crítico, no el 1. Los tres modelos de lenguaje —los tres, incluido GPT-4o— se equivocaron en esa pregunta.

La IA no corrige tu documentación. La repite, con más autoridad y a más gente.

Conclusión

El artículo deja una consecuencia práctica que suele pasarse por alto: como la ontología conoce el perfil de quien pregunta, el asistente puede negarle una rutina de mantenimiento a quien no está calificado para ejecutarla. La seguridad deja de depender de que alguien recuerde revisar la habilitación.

Y el punto de partida no es comprar nada. Es tomar el manual de un equipo crítico y escribir explícitamente qué contiene qué, qué paso va antes de cuál, y qué instrucción de seguridad cuelga de cada paso. Ese trabajo lo hace tu gente, no un proveedor.

¿Tienes manuales que nadie abre y técnicos que preguntan por radio? Si esto conecta con un problema real en tu planta, escríbenos.

Referencia (APA): Ludwig, H., Schmidt, T., & Kühn, M. (2025). An ontology-based retrieval augmented generation procedure for a voice-controlled maintenance assistant. Computers in Industry, 169, 104289. https://doi.org/10.1016/j.compind.2025.104289

——————————————————————————————————————————————————————————————————————————————————————————————————————————————–

A two-billion-parameter model, the kind that runs on a phone, answered questions about a piece of equipment better than GPT-4o. The difference wasn’t the model. It was how the information was stored.

The experiment

Ludwig, Schmidt and Kühn (2025), at TU Dresden, built a voice-controlled maintenance assistant: the technician asks out loud, hands busy, and the system answers.

They modelled a filter system as a formal ontology —93 classes, 222 concrete individuals, 376 relations between them— built from the manufacturer’s manuals and staff experience. It isn’t an indexed PDF: it’s a graph where “renew filter” contains step “replace primary filter cell”, and that step has safety instruction “wear protective clothing”. The relation is written down, not inferred.

They then generated 1,348 questions about that system’s content and compared three ways of answering them —plain text search, Microsoft’s GraphRAG, and their ontology-based method— across three language models of very different sizes.

The small model gains the most

With conventional text search, the smallest model (Gemma 2B) got 60.5% of answers right. Same model, same question, information organised as an ontology: 85.7% using the most compact context —around 600 characters— and 80% once expanded with neighbouring graph entities.

GPT-4o improved too, from 92.9% to 97.6%. But the gap narrowed: the structure helped the weak model more than the strong one. When the context is well built, model power matters less.

There’s a second number, and it’s the one that matters to whoever pays the bill. The context needed by the ontology-based method was 27% smaller than the text RAG’s, for the same completeness. Microsoft’s GraphRAG did reach full completeness: with a context fourteen times larger. Fewer tokens, less latency, and a voice conversation that doesn’t stall.

And an uncomfortable warning

In the filter system’s manual, the error priority scale was inverted: 3 was the most critical, not 1. All three language models —all three, GPT-4o included— got that question wrong.

AI doesn’t fix your documentation. It repeats it, with more authority and to more people.

Takeaway

The paper leaves a practical consequence that’s easy to miss: because the ontology knows the profile of whoever is asking, the assistant can withhold a maintenance routine from someone not qualified to perform it. Safety stops depending on someone remembering to check the certification.

And the starting point isn’t buying anything. It’s taking one critical asset’s manual and writing down explicitly what contains what, which step comes before which, and which safety instruction hangs off each step. That work is done by your people, not by a vendor.

Do you have manuals nobody opens and technicians asking over the radio? If this connects with a real problem in your plant, write to us.

Reference (APA): Ludwig, H., Schmidt, T., & Kühn, M. (2025). An ontology-based retrieval augmented generation procedure for a voice-controlled maintenance assistant. Computers in Industry, 169, 104289. https://doi.org/10.1016/j.compind.2025.104289

 

Leave a reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Your Name:*

Your Website

Your Comment