Hoe we meten

1. Waarom deze pagina bestaat

Sceptische kopers zouden marketingtekst niet hoeven te ontleden. Maguyva indexeert repositories en doet op de hele site claims over precisie, taaldekking en kosten. Die claims vragen om een uitleg van de methodologie die eerlijk is over de reikwijdte van de metingen: wat is onderbouwd met fixtures, wat met een beoordeling en wat is een manier van presenteren in plaats van onafhankelijke certificering.

2. Wat we meten

De kwaliteit van code-intelligentie wordt vooral gemeten op de language engine — extractie van symbolen, relaties en grafen uit de bron — niet op subjectieve “agent happiness”-scores.

• Fixture suites per taal: verwachte edges en symbolen die de handler correct moet extraheren
• Classificatie van fixturenauwkeurigheid: GREEN vereist precisie ≥ 0,95, recall ≥ 0,99, F1 ≥ 0,97 en minstens 20 verwachte edges, met aanvullende controles op selectie en onderhoud van fixtures. Dit is een regel voor bekende testgevallen, geen schatting van statistische betrouwbaarheid of bewering dat elke ingeschakelde taal GREEN is.
• Language-audit dimensies: nauwkeurigheid, structurele integriteit, volledigheid, kwaliteit en prestaties op het validatiebord
• Corpus- en spot-check-loops: gesamplede edges uit echte repositories, geclassificeerd volgens een beoordelingskader (juist, fout-positief, type-, bereik- of metadatafout) — beschreven in onze language-grind blogposts
• Functievlaggen van het product: wat de server adverteert (AST, locals, graph-extractie), los van de catalogusgrootte

Belangrijk: We valideren met fixtures die we zelf hebben geschreven. GREEN betekent dat de bekende gevallen slagen. Dat betekent niet automatisch dat elke constructie uit de praktijk correct wordt geëxtraheerd. Dat onderscheid maken we bewust en openbaar.

3. Groen versus onafhankelijk geverifieerd

Het language-auditbord gebruikt meerdere dimensies, zodat één groen lampje niet als ‘bewezen perfect’ kan worden gelezen. De belangrijkste cijfers op het bord zijn doorgaans opgesplitst:

• overall_green — regressie-schoon tegen self-snapshot-fixtures en gerelateerde corpus gates (noodzakelijk, niet voldoende)
• independently_verified — heeft een sterk beoordelingssignaal zoals een spot-check-seed (inclusief talen waarin bij de beoordeling nog fouten zijn gevonden)
• verified_clean / nul bij de beoordeling gevonden fouten op gesamplede edges — een strengere subset van beoordeelde talen
• curation / oracle trust — of fixtures zelf worden behandeld als vertrouwde oracles
• structural flags — graph-extractie en AST-capability zijn niet hetzelfde als catalogusdeelname

Het taalaantal in marketing (bijvoorbeeld “285+ talen”) is de catalogusgrootte: geconfigureerde talen en server-entries. Catalogusgrootte is geen AST-kwaliteits-SLA. We geven de voorkeur aan gelaagde rapportage boven één ijdel getal. Zie Compatibiliteit en Taalgidsen voor de actuele productmogelijkheden; zie de blogpost over recursieve zelfverbetering van talen voor narratieve details.

4. Kwaliteit van zoeken en retrieval

De kwaliteit van semantisch zoeken is multimodaal: tekst, AST, graaf en embeddings worden samengevoegd. We documenteren bewuste engineering-afwegingen in plaats van onverslaanbare retrieval te claimen:

• Embeddings gebruiken een commerciële modelfamilie (voyage-4-large, volgens de blogsnapshot van juni 2026), gekozen op basis van publieke retrieval-leaderboards op het moment van beslissing
• Vectors zijn binair gekwantiseerd voor opslag en kosten; dat ruilt bewust wat retrieval-precisie in voor goedkopere, snellere Hamming-zoekopdrachten zonder aparte vectordatabase
• Intentierouting en fusiegewichten zijn ontworpen heuristieken. Een voorstel uit december 2025 schatte het oorspronkelijke percentage zoekopdrachten zonder resultaten op ongeveer 15% en stelde een doel onder de 5%; we hebben geen queryverzameling of meetrapport geleverd dat die daling aantoont. Het bewijsdocument corrigeert de eerdere claim dat de verbetering was behaald.
• Blogposts bevatten secties “wat nog imperfect is” — imperfecte signalen maken deel uit van het verslag, geen voetnoten om te verbergen

5. Kostenclaims

Kostentaal op Maguyva gaat over prijsstructuur en operationele transparantie, geen formele TCO-studie gecertificeerd door een derde partij.

• Prijzen per workspace: gebaseerd op repositories, geïndexeerde regels en de frequentie waarmee indexen opnieuw worden opgebouwd — niet op het aantal mensen of agents. De FAQ en abonnementsbeschrijvingen leggen deze factoren uit.
• Het prijsvoorbeeld vergelijkt 25 betaalde gebruikersplaatsen tegen een illustratieve prijs van $19–$59 per plaats met Crew voor $49/maand. De besparing varieert met teamgrootte en het alternatieve product; dit is geen vergelijking van gelijkwaardige functies of een onafhankelijke concurrentiebenchmark.
• Eerlijkheid over operationele kosten: de /team-pagina publiceert een echte maandelijkse uitsplitsing van software-burn (abonnementen, MCP/zoektooling, usage-gebonden kosten). Dat is customer-zero-transparantie, geen geauditeerde jaarrekening.
• Embedding- en infrakosten zijn geaccepteerde productkosten (premium embeddings, opslag, graph-rebuilds). We betalen ze bewust en zeggen dat ook in de voyage-4-large-post en het pricingverhaal.

6. Wat we niet claimen

Deze pagina is ook een lijst met non-claims. Als iets niet op het meetbord staat, behandel de marketingtoon dan niet als bewijs.

• Geen algemene garantie van absolute precisie voor elke taal. Fixture-drempels gelden per taal op bekende gevallen; resterende fouten in echte code zijn te verwachten en we werken voortdurend aan het verminderen ervan.
• Geen claim dat overall_green gelijkstaat aan productie-perfecte extractie voor elk repository-idioom
• We presenteren op deze pagina geen pakket compliancecertificeringen van derden als bewijs voor onze methodologie (zie Beveiliging voor feiten over gegevensverwerking, niet voor compliancekeurmerken)
• We publiceren geen permanente scorekaart met een onafhankelijke vergelijking van meerdere leveranciers op gedeelde corpora
• Zoekresultaten en analyses blijven best-effort onder de Terms of Service — Maguyva is geen vervanging voor codereview, testen of beveiligingsaudits

7. Hoe je het zelf verifieert

De aanbevolen eerste stap voor een potentiële klant blijft: indexeer een repo die je al begrijpt, stel één echte vraag en controleer de bronverwijzingen.

• Begin gratis: kleine representatieve repo's verslaan een hele bedrijfsindex op dag één
• Gebruik MCP-tools (intelligent_search, find_symbol, dependency_search) en open de geciteerde paden
• Lees Hoe het werkt voor de architectuur van ingestie en retrieval
• Lees Compatibiliteit en Taalgidsen voor de ondersteuningsniveaus, niet alleen de catalogusgrootte
• Lees Beveiliging en Privacy voor informatie over gegevensverwerking; deze pagina vervangt ze niet