759 preguntas y respuestas sobre el BOE, 567 verificadas: el primer conjunto de datos propio

A las 10:26 terminó la fabricación y verificación del primer conjunto de instrucciones propio del proyecto. Los números, en bruto:

Paso	Resultado
Disposiciones del BOE leídas	450 (de las 9.180 del último año), al azar, de más de 800 caracteres
Pares pregunta-respuesta generados	759 (dos por disposición; 147 intentos fallidos en la primera pasada, 5 en la segunda)
Verificados como fieles al texto por el juez	567 (75 %)
Rechazados	192: 109 con nota 3 pero marcados como no fieles, 78 con nota 2, 5 con nota 1
Por tipo (verificados)	182 resúmenes, 170 preguntas factuales, 169 preguntas de ciudadano o pyme, 46 extracciones en JSON

Qué rechaza el juez

Leyendo los motivos: respuestas que omiten un dato esencial (la fecha de publicación, el registro donde hay que inscribirse), que mezclan un recurso con otro, o que añaden una fecha o una ley que no aparece en el texto. Es decir, exactamente las alucinaciones que no queremos enseñar. Un 25 % de descarte en un generador de 7.000 millones de parámetros es razonable; con un modelo mayor o con revisión humana bajaría.

Lo que hay que decir con claridad

• Generador y revisor son el mismo modelo (Qwen 2.5 7B). Es una revisión automática, no humana, y sirve para filtrar errores gruesos, no para garantizar exactitud jurídica. Cada ejemplo conserva el identificador y la URL de su disposición para que cualquiera pueda comprobarlo.
• El fallo del tipo "extracción" (casi todos descartados en la primera pasada) era nuestro: el modelo devolvía el JSON pedido sin envolverlo en el formato que esperábamos. Corregido, la segunda pasada pasó de un 30 % de fallos a un 2 %.

Y ahora

El afinado v3 está corriendo: Qwen 2.5 3B con estos 567 ejemplos más los 240 de seguridad, dos pasadas, 96 pasos, unos 25 minutos. Después, la batería de 100 preguntas. El listón sigue siendo el modelo base: 3,97 de media y 4,20 en seguridad.