> methodology.md

So messen wir

Diese Seite ist wortwörtlich der Ort, an dem du nachlesen kannst, wie die Qualitäts- und Kostenaussagen von Maguyva fundiert sind. Sie ist rein faktenbasiert: was wir messen, wie wir es bewerten, und was wir nicht vorgeben, geprüft zu haben.

Zuletzt aktualisiert: 2026-10. Aktuelle Zahlen werden aus Quelldaten neu generiert; diese Seite erklärt das Messmodell. Der verlinkte Evidenznachweis unterscheidet implementierte Fixture-Regeln von unbestätigten historischen Suchzielen.

Fixture-Gates
Language-Audit-Dimensionen
Kostentransparenz

Dies ist eine KI-unterstützte Übersetzung als Lesehilfe. Verbindlich ist ausschließlich die offizielle englische Fassung — jede Vereinbarung, die du bei der Anmeldung eingehst, unterliegt dem englischen Text. Offizielle englische Version lesen

tl;dr — Die Qualitätsberichterstattung nutzt Fixture-Klassifikationen und mehrdimensionale Sprach-Audit-Übersichten. GREEN bei bekannten Fixtures ist weder eine unabhängige Bestätigung korrekter Extraktion noch eine Garantie, dass jede aktivierte Sprache diese Schwellenwerte erfüllt. Kostenaussagen beruhen auf Workspace-Preisberechnungen und offengelegten Betriebskosten, nicht auf einem Wettbewerbsvergleich durch unabhängige Dritte.

1. Warum es diese Seite gibt

Skeptische Käufer sollten Marketingtexte nicht zurückentwickeln müssen. Maguyva indiziert Repositories und zeigt auf der ganzen Seite Aussagen zu Präzision, Sprachabdeckung und Kosten. Diese Aussagen brauchen eine Methodik-Seite, die ehrlich über den Messumfang spricht: was fixture-gestützt ist, was auf Einschätzung beruht und was Framing statt unabhängiger Zertifizierung ist.

2. Was wir messen

Die Qualität der Code Intelligence wird primär an der Language Engine gemessen — der Extraktion von Symbolen, Beziehungen und Graphen aus dem Quellcode — nicht an subjektiven „Agent-Zufriedenheits“-Werten.

Fixture-Suiten pro Sprache: erwartete Edges und Symbole, die der Handler korrekt extrahieren muss
Klassifikation der Fixture-Genauigkeit: GREEN erfordert Precision ≥ 0.95, Recall ≥ 0.99, F1 ≥ 0.97 und mindestens 20 erwartete Kanten sowie zusätzliche Prüfungen der Fixture-Kuration. Dies ist eine Regel für bekannte Testfälle, keine Schätzung statistischer Sicherheit und keine Aussage, dass jede aktivierte Sprache GREEN ist.
Language-Audit-Dimensionen: Genauigkeit, strukturelle Integrität, Vollständigkeit, Qualität und Performance auf dem Validation-Board
Korpus- und Stichproben-Loops: gesampelte Edges aus echten Repositories, klassifiziert nach Rubrik (korrekt, False Positive, Typ-/Scope-/Metadaten-Fehler) — beschrieben in unseren Language-Grind-Blogposts
Produkt-Capability-Flags: was der Server ausweist (AST, Locals, Graph-Extraktion), getrennt von der Katalog-Größe

Wichtig: Fixtures validieren gegen Fixtures, die wir selbst geschrieben haben. GREEN (grün) bedeutet, dass die bekannten Fälle bestehen. Es bedeutet nicht automatisch, dass jedes Real-World-Idiom sauber extrahiert wird. Diese Unterscheidung ist bewusst und öffentlich.

3. Grün vs. unabhängig verifiziert

Das Language-Audit-Board nutzt mehrere Achsen, damit ein einzelnes grünes Licht nicht als „nachweislich perfekt“ gelesen werden kann. Die Kennzahlen auf dem Board sind typischerweise aufgeteilt in:

overall_green — regressionsfrei gegenüber Self-Snapshot-Fixtures und verwandten Korpus-Gates (notwendig, aber nicht hinreichend)
independently_verified — verfügt über ein starkes Einschätzungssignal wie einen Spot-Check-Seed (schließt Sprachen ein, die noch beurteilte Fehler zeigen)
verified_clean / null beurteilte Fehler bei gesampelten Edges — eine strengere Teilmenge beurteilter Sprachen
curation / Oracle-Vertrauen — ob die Fixtures selbst als vertrauenswürdige Oracles behandelt werden
strukturelle Flags — Graph-Extraktion und AST-Fähigkeit sind nicht identisch mit der Katalog-Zugehörigkeit

Die Sprachanzahl im Marketing (zum Beispiel „285+ Sprachen“) ist die Katalog-Größe: konfigurierte Sprachen und Server-Einträge. Katalog-Größe ist kein AST-Qualitäts-SLA. Wir bevorzugen gestuftes Reporting gegenüber einer einzelnen Vanity-Zahl. Für die aktuelle Produktoberfläche siehe Kompatibilität und Sprachanleitungen; für ausführliche Hintergründe siehe den Blogpost zur rekursiven Selbstverbesserung der Sprach-Engine.

4. Such- und Retrieval-Qualität

Die Qualität der semantischen Suche ist multimodal: Text, AST, Graph und Embeddings werden fusioniert. Wir dokumentieren bewusste Engineering-Kompromisse, statt unschlagbares Retrieval zu behaupten:

Embeddings nutzen eine kommerzielle Modellfamilie (voyage-4-large laut Blog-Snapshot von Juni 2026), ausgewählt anhand öffentlicher Retrieval-Leaderboards zum Zeitpunkt der Entscheidung
Vektoren werden binär quantisiert für Storage und Kosten; das tauscht bewusst etwas Retrieval-Präzision gegen günstigere, schnellere Hamming-Suche ohne separate Vektordatenbank
Intent-Routing und Fusionsgewichte sind entwickelte Heuristiken. Ein Vorschlag vom Dezember 2025 schätzte den Ausgangsanteil ergebnisloser Suchanfragen auf etwa 15 % und setzte ein Ziel unter 5 %; wir haben weder einen Abfragesatz noch einen Messnachweis vorgelegt, der diese Senkung belegt. Der Evidenznachweis korrigiert die frühere Behauptung einer erzielten Verbesserung.
Blogposts enthalten Abschnitte zu „was noch unvollkommen ist“ — unvollkommene Signale sind Teil der Aufzeichnung, keine versteckten Fußnoten

5. Kostenaussagen

Die Kostensprache bei Maguyva handelt von der Preisstruktur und Betriebstransparenz, nicht von einer formellen TCO-Studie, die von Dritten zertifiziert wurde.

Workspace-Preise: abgerechnet nach Repositories, indizierten Zeilen und Rebuild-Häufigkeit — nicht pro Mensch oder Agent-Seat. FAQ und Plantexte erklären die Dimensionen im Detail.
Das Preisbeispiel vergleicht 25 bezahlte Nutzerplätze zu beispielhaften $19–$59 pro Platz mit Crew für $49/Monat. Die Ersparnis hängt von der Teamgröße und dem alternativen Produkt ab; dies ist weder ein Vergleich identischer Funktionen noch ein unabhängiger Wettbewerbsbenchmark.
Ehrlichkeit bei Betriebskosten: Die /team-Seite veröffentlicht eine echte monatliche Software-Burn-Aufschlüsselung (Abos, MCP-/Such-Tooling, nutzungsabhängige Kosten). Das ist Customer-Zero-Transparenz, kein geprüfter Jahresabschluss.
Embedding- und Infra-Kosten sind akzeptierte Produktkosten (Premium-Embeddings, Storage, Graph-Rebuilds). Wir zahlen sie bewusst und sagen das auch so im voyage-4-large-Post und in der Preise-Erzählung.

6. Was wir nicht behaupten

Diese Seite ist auch eine Liste von Nicht-Aussagen. Wenn etwas nicht auf dem Measurement-Board steht, betrachte den Marketing-Ton nicht als Beweis.

Keine pauschale Garantie für absolute Präzision in jeder Sprache. Fixture-Schwellenwerte gelten pro Sprache für bekannte Fälle; ein Rest an Real-World-Fehlern ist zu erwarten; an seiner Reduzierung wird weiter gearbeitet.
Keine Behauptung, dass overall_green produktionsreife, perfekte Extraktion für jedes Repository-Idiom bedeutet
Kein Compliance-Zertifizierungspaket von Dritten wird auf dieser Seite als Methodik-Artefakt behauptet (siehe Sicherheit für Fakten zur Datenverarbeitung, nicht für Compliance-Badges)
Kein unabhängiger Multi-Vendor-Bake-off mit geteilten Korpora, veröffentlicht als laufende Scorecard
Suchergebnisse und Analysen bleiben Best-Effort gemäß den Nutzungsbedingungen — Maguyva ersetzt kein Code-Review, keine Tests und keine Sicherheitsaudits

7. Wie du selbst nachprüfst

Der vorgesehene Weg für Käufer bleibt: indiziere ein Repo, das du bereits kennst, stelle eine echte Frage und prüfe die Zitate.

Starte kostenlos: kleine, repräsentative Repos schlagen am ersten Tag einen kompletten Firmen-Index
Nutze MCP-Tools (intelligent_search, find_symbol, dependency_search) und öffne die zitierten Pfade
Lies So funktioniert's für die Ingestion- und Retrieval-Architektur
Lies Kompatibilität und Sprachanleitungen für Capability-Stufen, nicht nur Katalog-Größe
Lies Sicherheit und Datenschutz für Datenverarbeitung; diese Seite ersetzt sie nicht