Cómo medimos

1. Por qué existe esta página

Los compradores escépticos no deberían tener que hacer ingeniería inversa del texto de marketing. Maguyva indexa repositorios y muestra afirmaciones de precisión, cobertura de lenguajes y costo en todo el sitio. Esas afirmaciones necesitan una página de metodología honesta sobre el alcance de la medición: qué está respaldado por fixtures, qué está respaldado por juicio, y qué es simple enfoque narrativo en lugar de certificación independiente.

2. Qué medimos

La calidad de la inteligencia de código se mide principalmente en el motor de lenguajes — la extracción de símbolos, relaciones y grafos desde el código fuente — no en puntuaciones subjetivas de «satisfacción del agente».

• Suites de fixtures por lenguaje: las aristas y los símbolos esperados que el handler debe extraer correctamente
• Clasificación de precisión de los casos de prueba: GREEN requiere precision ≥ 0.95, recall ≥ 0.99, F1 ≥ 0.97 y al menos 20 aristas esperadas, además de controles de calidad de la curación de los casos. Es una regla para casos de prueba conocidos, no una estimación de confianza estadística ni una afirmación de que todos los lenguajes habilitados sean GREEN.
• Dimensiones del language-audit: exactitud, integridad estructural, completitud, calidad y rendimiento en el tablero de validación
• Bucles de corpus y verificación por muestreo: aristas muestreadas de repositorios reales, clasificadas por rúbrica (correcto, falso positivo, error de tipo/scope/metadatos) — descritos en nuestras entradas de blog sobre language-grind
• Indicadores de capacidad del producto: lo que el servidor anuncia (AST, locals, extracción de grafos), separado del tamaño del catálogo

Importante: Las fixtures se validan contra fixtures que nosotros mismos escribimos. GREEN (verde) significa que los casos conocidos pasan. No significa automáticamente que cada patrón de código del mundo real se extraiga sin errores. Esa distinción es deliberada y pública.

3. Verde vs. verificado de forma independiente

El tablero de language-audit usa varios ejes para que una sola luz verde no se lea como «probadamente perfecto». Las cifras principales del tablero suelen dividirse así:

• overall_green — sin regresiones frente a fixtures self-snapshot y controles de validación de corpus relacionados (necesario, pero no suficiente)
• independently_verified — cuenta con una señal de juicio fuerte, como una muestra inicial de verificación (incluye lenguajes que aún muestran errores juzgados)
• verified_clean / cero errores juzgados en aristas muestreadas — un subconjunto más estricto de lenguajes juzgados
• curation / confianza en el oráculo — si las propias fixtures se tratan como oráculos de confianza
• indicadores estructurales — la extracción de grafos y la capacidad AST no son lo mismo que pertenecer al catálogo

El número de lenguajes que aparece en marketing (por ejemplo, «más de 285 lenguajes») es el tamaño del catálogo: lenguajes configurados y entradas del servidor. El tamaño del catálogo no es un SLA de calidad AST. Preferimos un reporte por niveles antes que una sola cifra vanidosa. Para la información actual del producto, consulta Compatibilidad y Guías de lenguajes; para el detalle narrativo, consulta la entrada del blog sobre la automejora recursiva de lenguajes.

4. Calidad de búsqueda y recuperación

La calidad de la búsqueda semántica es multimodal: texto, AST, grafo y embeddings se fusionan. Documentamos compensaciones de ingeniería deliberadas en lugar de afirmar una recuperación insuperable:

• Los embeddings usan una familia de modelos comerciales (voyage-4-large según el snapshot del blog de junio de 2026), elegida frente a los leaderboards públicos de retrieval en el momento de la decisión
• Los vectores se cuantizan en binario por almacenamiento y costo; eso intercambia deliberadamente algo de precisión de retrieval por una búsqueda de Hamming más barata y rápida, sin una base de datos vectorial separada
• El enrutamiento por intención y los pesos de fusión son heurísticas diseñadas. Una propuesta de diciembre de 2025 estimaba una tasa inicial de consultas sin resultados de aproximadamente el 15% y fijaba un objetivo inferior al 5%; no hemos proporcionado un conjunto de consultas ni un registro de medición que demuestre esa reducción. El registro de evidencias corrige la afirmación anterior de una mejora conseguida.
• Las entradas del blog incluyen secciones de «qué sigue siendo imperfecto» — las señales imperfectas forman parte del registro, no son notas al pie para esconder

5. Afirmaciones de costo

El lenguaje sobre costos en Maguyva trata sobre la estructura de precios y la transparencia operativa, no sobre un estudio formal de TCO certificado por un tercero.

• Precio por espacio de trabajo: se factura por repositorios, líneas indexadas y frecuencia de reconstrucción — no por asiento humano o de agente. La FAQ y las descripciones de los planes detallan estas dimensiones.
• El ejemplo de precios compara 25 puestos de pago a un precio ilustrativo de $19–$59 por puesto con Crew a $49/mes. El ahorro varía según el tamaño del equipo y el producto alternativo; no es una comparación de funciones equivalentes ni un benchmark competitivo independiente.
• Honestidad sobre costos operativos: la página /team publica un desglose real del gasto mensual en software (suscripciones, herramientas de MCP/búsqueda, costos según el uso). Eso es transparencia customer-zero, no un estado financiero auditado.
• Los costos de embeddings e infraestructura son costos de producto asumidos (embeddings premium, almacenamiento, reconstrucciones del grafo). Los pagamos a propósito y lo decimos en la entrada de voyage-4-large y en el relato de precios.

6. Qué no afirmamos

Esta página también es una lista de no-afirmaciones. Si algo no está en el tablero de medición, no tomes el tono de marketing como prueba.

• No hay garantía general de precisión absoluta para cada lenguaje. Los umbrales de las fixtures aplican por lenguaje sobre casos conocidos; se espera un margen residual de error en el mundo real y se trabaja de forma continua para reducirlo.
• No se afirma que overall_green equivalga a una extracción perfecta en producción para cada patrón de código de un repositorio
• No se presenta ningún paquete de certificación de cumplimiento de terceros como artefacto de metodología en esta página (consulta Seguridad para los hechos sobre el manejo de datos, no para insignias de cumplimiento)
• No hay una comparativa independiente entre múltiples proveedores con corpus compartidos publicada como un cuadro permanente de resultados
• Los resultados de búsqueda y los análisis siguen siendo best-effort según los Términos de servicio — Maguyva no sustituye la revisión de código, las pruebas ni las auditorías de seguridad

7. Cómo verificarlo tú mismo

El recorrido pensado para el comprador sigue siendo el mismo: indexa un repo que ya conozcas, haz una pregunta real e inspecciona las citas.

• Empieza gratis: unos pocos repos representativos superan a un índice de toda la empresa el primer día
• Usa las herramientas MCP (intelligent_search, find_symbol, dependency_search) y abre las rutas citadas
• Lee Cómo funciona para la arquitectura de ingesta y recuperación
• Lee Compatibilidad y Guías de lenguajes para los niveles de capacidad, no solo el tamaño del catálogo
• Lee Seguridad y Privacidad para el manejo de datos; esta página no las reemplaza