Cómo pruebo 300 lecciones sin leerlas una a una (y en qué ayuda la IA)
Un curso de AventuMates tiene unas 300 lecciones, y cada lección no es un ejercicio fijo: es un generador que produce variantes distintas cada vez, con su enunciado, sus opciones, su solución, su pista y su explicación. Multiplica y salen decenas de miles de ejercicios posibles. Nadie puede leerlos todos. Y sin embargo, cuando un niño de nueve años pulsa «comprobar», la respuesta correcta tiene que ser la correcta.
Este artículo cuenta cómo se consigue eso. Vale para cualquier producto con mucho contenido generado: un catálogo, un simulador, un configurador, una tienda con miles de referencias.
1. Lo que se genera se puede repetir
Cada ejercicio nace de una semilla: un número que decide la variante. Con la misma semilla sale exactamente el mismo ejercicio, hoy y dentro de un año. Parece un detalle técnico y es la base de todo lo demás: si un ejercicio sale mal, puedo reproducirlo, arreglarlo y escribir una prueba que lo vigile para siempre con esa semilla.
Para tu producto: si algo se genera solo, que se pueda regenerar igual. Lo que no se puede reproducir no se puede arreglar con garantías.
2. Miles de pruebas automáticas, y que se ejecuten enteras
El proyecto tiene hoy más de 3.300 pruebas automáticas repartidas en más de 700 ficheros. Cada una comprueba una cosa: que este generador con esta semilla da esta solución, que las opciones de una pregunta no incluyen dos correctas, que una unidad se muestra fuera del campo de respuesta. La batería completa tarda unos 40 minutos aunque corra en paralelo, y no se despliega nada sin pasarla entera.
Lo que aprendí a golpes: una batería que se mira «por encima», o que se ejecuta a medias, no protege de nada. Una vez llegó a producción una tanda con pruebas en rojo porque miré la última línea de la salida en lugar del contenido. Ahora la puerta se mira por contenido.
3. Guardias baratas antes de las pruebas caras
Hay errores que no merecen 40 minutos de batería. Por ejemplo: un tipo de ejercicio donde el niño escribe números enteros en varias casillas no puede pedir un decimal, porque sería imposible de acertar. Eso lo comprueba una guardia que tarda dos décimas de segundo y que corre antes que nada. Otra guardia comprueba que ningún texto lleve una variable sin sustituir, esas que salen como «$numero» en pantalla. Me había mordido ocho veces en un día antes de escribirla.
Para tu producto: los defectos que se repiten merecen una comprobación automática específica y rapidísima, no una nota mental.
4. Una huella de todo lo que se sirve
Además de las pruebas, cada curso tiene una huella: un resumen calculado de todo lo que la app sirve a los niños. Si un cambio en el código altera un solo ejercicio de un curso que no se pretendía tocar, la huella cambia y la batería avisa. Esto ha cazado errores que ninguna prueba individual había previsto, que es justo para lo que sirve.
5. Donde entra la IA: leer volumen con criterio de maestra
Con miles de variantes, hay una clase de error que las pruebas no ven: el ejercicio es matemáticamente correcto pero está mal planteado para un niño. Una pregunta ambigua, una pista que regala la solución, una explicación que usa un método que no se da en ese curso.
Para eso uso agentes de IA como lectores. El proceso es concreto: vuelco lo que sirve cada lección con varias semillas, lo parto en trozos de unas 30 lecciones y cada trozo lo lee un agente con unas instrucciones escritas como las daría una maestra. Devuelve una lista de hallazgos con la lección, la semilla, la gravedad y una propuesta. Para un curso entero, eso fueron 296 lecciones por cinco semillas: 1.480 soluciones leídas en una tarde.
Y aquí está el matiz importante: la IA lee, no decide. De 18 avisos graves que los lectores marcaron en un curso, 11 eran errores reales y 7 los desmintió el libro de texto: la IA aplicaba la regla general y el libro enseñaba una excepción. Cada arreglo real se hizo en el generador y con una prueba nueva por semilla, para que no vuelva. Cada falso aviso se anotó, para que el siguiente lector no lo repita.
6. Lo que la IA no puede hacer
- Dar por bueno. La IA propone; la decisión de que un ejercicio es correcto para un niño de 3.º es de una persona que conoce el curso.
- Sustituir la medición. Los peores defectos no salieron de leer, salieron de medir: contar cuántas veces un generador produce cada tipo de variante y descubrir que uno repartía mal. Leer diez ejemplos no lo habría visto nunca.
- Vigilar. Una lectura es una foto. Las pruebas y las huellas son la vigilancia permanente.
Lo que puedes copiar mañana
- Haz que todo lo generado se pueda regenerar igual.
- Convierte cada error que se repite en una comprobación automática rápida.
- Calcula una huella de lo que sirves y avisa cuando cambie sin querer.
- Usa la IA para leer volumen con instrucciones claras, y quédate tú con la decisión.
Si tienes un producto con mucho contenido y no sabes cómo garantizar que es correcto, cuéntame el caso. Montar la primera guardia y la primera huella suele ser cuestión de pocas horas, y trabajo por horas.
