Hoe we meten

1. Waarom deze pagina bestaat

Sceptische kopers zouden marketingtekst niet hoeven te reverse-engineeren. Maguyva indexeert repositories en toont precisie-, taaldekkings- en kostenclaims door de hele site. Die claims hebben een methodologieoppervlak nodig dat eerlijk is over de meetreikwijdte: wat is onderbouwd door fixtures, wat is onderbouwd door beoordeling, en wat is framing in plaats van onafhankelijke certificering.

2. Wat we meten

De kwaliteit van code-intelligentie wordt vooral gemeten op de language engine — extractie van symbolen, relaties en grafen uit de bron — niet op subjectieve “agent happiness”-scores.

• Fixture suites per taal: verwachte edges en symbolen die de handler correct moet extraheren
• Release gates: talen worden pas uitgebracht als fixture-precisie, -recall en -F1 de gepubliceerde drempels halen (precisie ≥ 0,95, recall ≥ 0,99, F1 ≥ 0,97 op fixtures, met een minimum aantal edges voor statistische betrouwbaarheid)
• Language-audit dimensies: nauwkeurigheid, structurele integriteit, volledigheid, kwaliteit en prestaties op het validatiebord
• Corpus- en spot-check-loops: gesamplede edges uit echte repositories, geclassificeerd volgens een beoordelingskader (juist, fout-positief, type-, bereik- of metadatafout) — beschreven in onze language-grind blogposts
• Product capability flags: wat de server adverteert (AST, locals, graph-extractie), los van de cataloggrootte

Belangrijk: Fixtures valideren tegen fixtures die wij hebben geschreven. GROEN betekent dat de bekende gevallen slagen. Het betekent niet automatisch dat elk idioom uit de echte wereld schoon wordt geëxtraheerd. Dat onderscheid is bewust en publiek.

3. Groen versus onafhankelijk geverifieerd

Het language-audit board gebruikt meerdere assen, zodat één groen lampje niet gelezen kan worden als “bewezen perfect.” Koplopercijfers op het bord zijn doorgaans opgesplitst:

• overall_green — regressie-schoon tegen self-snapshot-fixtures en gerelateerde corpus gates (noodzakelijk, niet voldoende)
• independently_verified — heeft een sterk beoordelingssignaal zoals een spot-check-seed (inclusief talen die nog beoordeelde fouten tonen)
• verified_clean / nul beoordeelde fouten op gesamplede edges — een strengere subset van beoordeelde talen
• curation / oracle trust — of fixtures zelf worden behandeld als vertrouwde oracles
• structural flags — graph-extractie en AST-capability zijn niet hetzelfde als catalogusdeelname

Het taalaantal in marketing (bijvoorbeeld “279+ talen”) is de cataloggrootte: geconfigureerde talen en server-entries. Cataloggrootte is geen AST-kwaliteits-SLA. We geven de voorkeur aan gelaagde rapportage boven één ijdel getal. Zie Compatibility en Language Guides voor het huidige productoppervlak; zie de blogpost over recursieve zelfverbetering van talen voor narratieve details.

4. Kwaliteit van zoeken en retrieval

De kwaliteit van semantisch zoeken is multimodaal: tekst, AST, graaf en embeddings worden samengevoegd. We documenteren bewuste engineering-afwegingen in plaats van onverslaanbare retrieval te claimen:

• Embeddings gebruiken een commerciële modelfamilie (voyage-4-large, volgens de blogsnapshot van juni 2026), gekozen op basis van publieke retrieval-leaderboards op het moment van beslissing
• Vectors zijn binair gekwantiseerd voor opslag en kosten; dat ruilt bewust wat retrieval-precisie in voor goedkopere, snellere Hamming-zoekopdrachten zonder aparte vectordatabase
• Intent routing en fusion weights zijn ontworpen heuristieken met gemeten operationele effecten (bijvoorbeeld lagere zero-result-percentages na intent routing), geen gepubliceerde onafhankelijke IR-evaluatiesuite op klantcorpora
• Blogposts bevatten secties “wat nog imperfect is” — imperfecte signalen maken deel uit van het verslag, geen voetnoten om te verbergen

5. Kostenclaims

Kostentaal op Maguyva gaat over prijsstructuur en operationele transparantie, geen formele TCO-studie gecertificeerd door een derde partij.

• Workspace-pricing: gefactureerd per repositories, geïndexeerde regels en rebuild-frequentie — niet per menselijke of agent-seat. FAQ en plancopy leggen de dimensies uit.
• “Ruwweg 10-30x minder”-vergelijkingen op Pricing zijn illustratief rekenwerk tegen typische per-seat-bereiken, afhankelijk van welke per-seat-geprijsde tool je vergelijkt. Het is geen vastgelegd, onafhankelijk concurrentiebenchmarkpakket.
• Eerlijkheid over operationele kosten: de /team-pagina publiceert een echte maandelijkse uitsplitsing van software-burn (abonnementen, MCP/zoektooling, usage-gebonden kosten). Dat is customer-zero-transparantie, geen geauditeerde jaarrekening.
• Embedding- en infrakosten zijn geaccepteerde productkosten (premium embeddings, opslag, graph-rebuilds). We betalen ze bewust en zeggen dat ook in de voyage-4-large-post en het pricingverhaal.

6. Wat we niet claimen

Deze pagina is ook een lijst met non-claims. Als iets niet op het meetbord staat, behandel de marketingtoon dan niet als bewijs.

• Geen algemene garantie van absolute precisie voor elke taal. Fixture-drempels gelden per taal op bekende gevallen; resterende fouten uit de echte wereld worden verwacht en zijn onderbouwd.
• Geen claim dat overall_green gelijkstaat aan productie-perfecte extractie voor elk repository-idioom
• Geen compliance-certificeringspakket van een derde partij dat wordt gepresenteerd als methodologieartefact op dit oppervlak (zie Security voor feiten over gegevensverwerking, geen compliance-badges)
• Geen onafhankelijke multi-vendor bake-off met gedeelde corpora gepubliceerd als staand scorecard
• Zoekresultaten en analyses blijven best-effort onder de Terms of Service — Maguyva is geen vervanging voor codereview, testen of beveiligingsaudits

7. Hoe je het zelf verifieert

De bedoelde koperbeweging is nog steeds: indexeer een repo die je al begrijpt, stel één echte vraag en inspecteer de citaten.

• Begin gratis: kleine representatieve repo's verslaan een hele bedrijfsindex op dag één
• Gebruik MCP-tools (intelligent_search, find_symbol, dependency_search) en open de geciteerde paden
• Lees How It Works voor de ingestion- en retrieval-architectuur
• Lees Compatibility en Language Guides voor capability-tiers, niet alleen cataloggrootte
• Lees Security en Privacy voor gegevensverwerking; deze pagina vervangt ze niet