Hur vi mäter

1. Varför den här sidan finns

Skeptiska köpare ska inte behöva baklängesanalysera marknadsföringstext. Maguyva indexerar repositories och presenterar påståenden om precision, språktäckning och kostnader på webbplatsen. Dessa behöver en metodikbeskrivning som är ärlig om mätningarnas omfattning: vad som stöds av testfixturer, vad som bygger på bedömningar och vad som är en beskrivning snarare än oberoende certifiering.

2. Vad vi mäter

Kodintelligensens kvalitet mäts främst i språkmotorn — extraktion av symboler, relationer och grafer från källkod — inte med subjektiva poäng för ”agentnöjdhet”.

• Testfixtursviter per språk: förväntade kanter och symboler som språkhanteraren måste extrahera korrekt
• Klassificering av fixturernas träffsäkerhet: GREEN kräver precision ≥ 0.95, recall ≥ 0.99, F1 ≥ 0.97 och minst 20 förväntade kanter, med ytterligare kontroller av fixturernas urval och kvalitet. Detta är en regel för kända testfall, inte en uppskattning av statistisk säkerhet eller ett påstående om att varje aktiverat språk är GREEN.
• Språkgranskningens dimensioner: träffsäkerhet, strukturell integritet, fullständighet, kvalitet och prestanda på valideringstavlan
• Korpusgranskning och återkommande stickprov: ett urval kanter från verkliga repositories klassificeras enligt bedömningskriterier (korrekt, falskt positivt, typ-/omfångs-/metadatafel) — beskrivs i våra blogginlägg om systematisk språkförbättring
• Flaggor för produktförmågor: vad servern anger stöd för (AST, locals, grafextraktion), separat från katalogens storlek

Viktigt: Fixturerna valideras mot testfall som vi själva har skrivit. GREEN betyder att de kända fallen godkänns. Det innebär inte automatiskt att varje kodmönster från verkligheten extraheras felfritt. Den skillnaden görs avsiktligt och redovisas öppet.

3. Grönt kontra oberoende verifierat

Språkgranskningens resultattavla använder flera axlar, så ett enda grönt ljus kan inte tolkas som ”bevisat perfekt”. Huvudsiffrorna på tavlan delas vanligtvis upp så här:

• overall_green — utan regressioner mot fixturer som bygger på egna ögonblicksbilder och tillhörande kvalitetskontroller av korpusen (nödvändigt, inte tillräckligt)
• independently_verified — har ett starkt bedömningsunderlag, till exempel ett starturval för stickprov (inkluderar språk som fortfarande har påvisade fel)
• verified_clean / inga bedömda fel bland de utvalda kanterna — en striktare delmängd av de bedömda språken
• Urval och kvalitet / tillit till testorakel — om fixturerna själva betraktas som tillförlitliga facit
• Strukturella flaggor — grafextraktion och AST-förmågor är inte samma sak som att finnas i katalogen

Språkantalet i marknadsföringen (till exempel ”285+ språk”) avser katalogens storlek: konfigurerade språk och serverposter. Katalogstorlek är inget SLA för AST-kvalitet. Nivåindelad rapportering är mer användbar än en enda skrytsiffra. För aktuella produktförmågor, se Kompatibilitet och Språkguider; för en utförligare beskrivning, se blogginlägget om språkens rekursiva självförbättring.

4. Kvalitet på sökning och retrieval

Kvaliteten på semantisk sökning är multimodal: text, AST, graf och embeddings smälts samman. Vi dokumenterar medvetna tekniska avvägningar istället för att hävda oslagbar retrieval:

• Embeddings använder en kommersiell modellfamilj (voyage-4-large enligt blogginstantbilden från juni 2026), vald utifrån offentliga retrieval-topplistor vid beslutstillfället
• Vektorer är binärt kvantiserade för lagring och kostnad; det byter medvetet bort viss retrieval-precision mot billigare, snabbare Hamming-sökning utan en separat vektordatabas
• Avsiktsbaserad routning och fusionsvikter är konstruerade heuristiker. Ett förslag från december 2025 uppskattade utgångsläget för andelen sökningar utan resultat till cirka 15 % och satte ett mål under 5 %; vi har inte tillhandahållit någon uppsättning sökfrågor eller mätdokumentation som visar den minskningen. Evidensunderlaget rättar det tidigare påståendet om en uppnådd förbättring.
• Blogginläggen innehåller avsnitt om ”vad som fortfarande är bristfälligt” — bristfälliga signaler ingår i redovisningen och är inga fotnoter att gömma undan

5. Kostnadspåståenden

Kostnadsspråket på Maguyva handlar om prisstruktur och driftstransparens, inte en formell TCO-studie certifierad av tredje part.

• Prissättning per arbetsyta: debitering efter repositories, indexerade rader och ombyggnadsfrekvens — inte efter användarlicenser för människor eller agenter. Vanliga frågor och abonnemangsbeskrivningarna förklarar vad priset baseras på.
• Prisexemplet jämför 25 betalda användarlicenser till ett illustrativt pris på $19–$59 per användare med Crew för $49/månad. Besparingen varierar med teamets storlek och den alternativa produkten; detta är ingen jämförelse av likvärdiga funktioner eller en oberoende jämförande mätning.
• Ärlighet om driftskostnader: /team-sidan publicerar en verklig månatlig uppdelning av mjukvarukostnader (prenumerationer, MCP-/sökverktyg, användningsbaserade kostnader). Det är öppen redovisning av hur vi själva använder produkten, inget granskat bokslut.
• Embedding- och infrakostnader är accepterade produktkostnader (premium-embeddings, lagring, grafombyggnader). Vi betalar dem med avsikt och säger det i voyage-4-large-inlägget och prissättningsberättelsen.

6. Vad vi inte påstår

Den här sidan är också en lista över icke-påståenden. Om något inte finns på mättavlan, behandla inte marknadsföringstonen som bevis.

• Ingen generell garanti för absolut precision i alla språk. Tröskelvärden för testfixturer gäller per språk för kända fall; kvarvarande fel i verklig kod förväntas och bearbetas löpande.
• Inget påstående om att overall_green motsvarar produktionsperfekt extraktion för varje repository-idiom
• Inget certifieringspaket från tredje part åberopas som metodikunderlag på den här sidan (se Säkerhet för fakta om datahantering, inte certifieringsmärken)
• Ingen oberoende multivendor-jämförelse med delade korpusar publicerad som ett stående resultatkort
• Sökresultat och analyser tillhandahålls efter bästa förmåga enligt Användarvillkoren — Maguyva ersätter inte kodgranskning, testning eller säkerhetsgranskningar

7. Hur du verifierar själv

Det avsedda sättet att utvärdera produkten är fortfarande: indexera ett repo som du redan känner till, ställ en verklig fråga och granska källhänvisningarna.

• Börja gratis: små representativa repos slår ett helt företags index på dag ett
• Använd MCP-verktyg (intelligent_search, find_symbol, dependency_search) och öppna de citerade sökvägarna
• Läs Så fungerar det för arkitekturen bakom inläsning och informationshämtning
• Läs Kompatibilitet och Språkguider för förmågenivåer, inte bara katalogstorlek
• Läs Säkerhet och Integritetspolicy för datahantering; den här sidan ersätter inte dem