Cómo medimos

1. Por qué existe esta página

Los compradores escépticos no deberían tener que hacer ingeniería inversa del texto de marketing. Maguyva indexa repositorios y muestra afirmaciones de precisión, cobertura de lenguajes y costo en todo el sitio. Esas afirmaciones necesitan una página de metodología honesta sobre el alcance de la medición: qué está respaldado por fixtures, qué está respaldado por juicio, y qué es simple enfoque narrativo en lugar de certificación independiente.

2. Qué medimos

La calidad de la inteligencia de código se mide principalmente en el motor de lenguajes — la extracción de símbolos, relaciones y grafos desde el código fuente — no en puntuaciones subjetivas de «satisfacción del agente».

• Suites de fixtures por lenguaje: los edges y símbolos esperados que el handler debe extraer correctamente
• Release gates: un lenguaje solo se lanza cuando la precisión, el recall y el F1 de las fixtures superan los umbrales publicados (precisión ≥ 0,95, recall ≥ 0,99, F1 ≥ 0,97 en fixtures, con un número mínimo de edges para confianza estadística)
• Dimensiones del language-audit: exactitud, integridad estructural, completitud, calidad y rendimiento en el tablero de validación
• Bucles de corpus y verificación por muestreo: edges muestreados de repositorios reales, clasificados por rúbrica (correcto, falso positivo, error de tipo/scope/metadatos) — descritos en nuestras entradas de blog sobre language-grind
• Indicadores de capacidad del producto: lo que el servidor anuncia (AST, locals, extracción de grafos), separado del tamaño del catálogo

Importante: Las fixtures se validan contra fixtures que nosotros mismos escribimos. VERDE significa que los casos conocidos pasan. No significa automáticamente que cada modismo del mundo real se extraiga sin errores. Esa distinción es deliberada y pública.

3. Verde vs. verificado de forma independiente

El tablero de language-audit usa varios ejes para que una sola luz verde no se lea como «probadamente perfecto». Las cifras principales del tablero suelen dividirse así:

• overall_green — sin regresiones frente a fixtures self-snapshot y gates de corpus relacionados (necesario, pero no suficiente)
• independently_verified — cuenta con una señal de juicio fuerte, como una semilla de verificación por muestreo (incluye lenguajes que aún muestran errores juzgados)
• verified_clean / cero errores juzgados en edges muestreados — un subconjunto más estricto de lenguajes juzgados
• curation / confianza en el oráculo — si las propias fixtures se tratan como oráculos de confianza
• indicadores estructurales — la extracción de grafos y la capacidad AST no son lo mismo que pertenecer al catálogo

El número de lenguajes que aparece en marketing (por ejemplo, «más de 279 lenguajes») es el tamaño del catálogo: lenguajes configurados y entradas del servidor. El tamaño del catálogo no es un SLA de calidad AST. Preferimos un reporte por niveles antes que una sola cifra vanidosa. Para la superficie de producto actual, consulta Compatibilidad y Guías de lenguajes; para el detalle narrativo, consulta la entrada del blog sobre la automejora recursiva de lenguajes.

4. Calidad de búsqueda y retrieval

La calidad de la búsqueda semántica es multimodal: texto, AST, grafo y embeddings se fusionan. Documentamos compensaciones de ingeniería deliberadas en lugar de afirmar un retrieval invencible:

• Los embeddings usan una familia de modelos comerciales (voyage-4-large según el snapshot del blog de junio de 2026), elegida frente a los leaderboards públicos de retrieval en el momento de la decisión
• Los vectores se cuantizan en binario por almacenamiento y costo; eso intercambia deliberadamente algo de precisión de retrieval por una búsqueda de Hamming más barata y rápida, sin una base de datos vectorial separada
• El intent routing y los pesos de fusión son heurísticas diseñadas con efectos operativos medidos (por ejemplo, menores tasas de resultados nulos tras el intent routing), no una suite de evaluación de IR independiente publicada sobre corpus de clientes
• Las entradas del blog incluyen secciones de «qué sigue siendo imperfecto» — las señales imperfectas forman parte del registro, no son notas al pie para esconder

5. Afirmaciones de costo

El lenguaje sobre costos en Maguyva trata sobre la estructura de precios y la transparencia operativa, no sobre un estudio formal de TCO certificado por un tercero.

• Precio por workspace: se factura por repositorios, líneas indexadas y frecuencia de reconstrucción — no por asiento humano o de agente. La FAQ y las descripciones de los planes detallan estas dimensiones.
• Las comparaciones tipo «entre 10 y 30 veces menos» en la página de Precios son matemática ilustrativa frente a rangos típicos de precio por asiento, según con qué herramienta con precio por asiento se compare. No son un paquete de benchmark competitivo independiente y cerrado.
• Honestidad sobre costos operativos: la página /team publica un desglose real del gasto mensual en software (suscripciones, herramientas de MCP/búsqueda, costos según el uso). Eso es transparencia customer-zero, no un estado financiero auditado.
• Los costos de embeddings e infraestructura son costos de producto asumidos (embeddings premium, almacenamiento, reconstrucciones del grafo). Los pagamos a propósito y lo decimos en la entrada de voyage-4-large y en el relato de precios.

6. Qué no afirmamos

Esta página también es una lista de no-afirmaciones. Si algo no está en el tablero de medición, no tomes el tono de marketing como prueba.

• No hay garantía general de precisión absoluta para cada lenguaje. Los umbrales de las fixtures aplican por lenguaje sobre casos conocidos; se espera y se asume un margen residual de error en el mundo real.
• No se afirma que overall_green equivalga a una extracción perfecta en producción para cada modismo de repositorio
• No se presenta ningún paquete de certificación de cumplimiento de terceros como artefacto de metodología en esta página (consulta Seguridad para los hechos sobre el manejo de datos, no para insignias de cumplimiento)
• No hay un bake-off independiente multi-proveedor con corpus compartidos publicado como scorecard permanente
• Los resultados de búsqueda y los análisis siguen siendo best-effort según los Términos de servicio — Maguyva no sustituye la revisión de código, las pruebas ni las auditorías de seguridad

7. Cómo verificarlo tú mismo

El recorrido pensado para el comprador sigue siendo el mismo: indexa un repo que ya conozcas, haz una pregunta real e inspecciona las citas.

• Empieza gratis: unos pocos repos representativos superan a un índice de toda la empresa el primer día
• Usa las herramientas MCP (intelligent_search, find_symbol, dependency_search) y abre las rutas citadas
• Lee Cómo funciona para la arquitectura de ingesta y retrieval
• Lee Compatibilidad y Guías de lenguajes para los niveles de capacidad, no solo el tamaño del catálogo
• Lee Seguridad y Privacidad para el manejo de datos; esta página no las reemplaza