我们如何度量

1. 本页面存在的原因

持怀疑态度的买家，不应该还得去逆向推敲营销文案。Maguyva 会为代码仓库建立索引，并在整个网站上呈现精确率、语言覆盖范围和成本方面的主张。这些主张需要一个对度量范围诚实以待的方法论页面：哪些有测试夹具支撑，哪些有评审判断支撑，哪些只是表述方式而非独立认证。

2. 我们度量什么

代码智能的质量主要在语言引擎上度量——即从源代码中提取符号、关系和图谱——而不是靠主观的“agent 满意度”评分。

• 分语言的测试夹具套件：处理器必须正确提取的预期边和符号
• 测试样例准确性分类：GREEN 要求精确率 ≥ 0.95、召回率 ≥ 0.99、F1 ≥ 0.97，且至少有 20 条预期边，同时须通过额外的测试样例筛选检查。这是针对已知测试用例的规则，不是统计置信度估计，也不是说每种已启用的语言都达到 GREEN。
• Language-audit 维度：验证看板上的准确性、结构完整性、完备性、质量和性能
• 语料库与抽检循环：按评分标准对从真实仓库采样的边进行分类（正确、误报、类型/作用域/元数据错误）——详见我们关于 language-grind 的博客文章
• 产品能力标志：服务器所声明的能力（AST、局部变量、图谱提取）与目录规模相互独立

重要： 验证所用的是我们自己编写的测试夹具。GREEN（绿灯）意味着已知用例通过了，但并不自动意味着现实世界中的每一种写法都能正确提取。这一区别是刻意为之的，也是公开的。

3. 绿灯 vs 独立验证

language-audit 看板采用多个维度，因此单个绿灯并不能被解读为“已证明完美”。看板上的核心数字通常会拆分为：

• overall_green——相对于自身快照测试夹具及相关语料库验证关卡没有回归（必要条件，而非充分条件）
• independently_verified——具备较强的判断信号，例如抽检种子（其中包含仍存在已判定错误的语言）
• verified_clean / 采样边上已判定错误为零——判定语言中更为严格的一个子集
• 整理质量／评判基准可信度——测试夹具本身是否被当作可信的评判基准
• 结构标志——图谱提取和 AST 能力，与是否列入目录并不等同

营销层面的语言数量（例如“285+ 种语言”）指的是目录规模：已配置的语言和服务器条目。目录规模并不是 AST 质量的 SLA。相比单一好看的数字，我们更倾向于分层报告。当前的产品界面请见“兼容性”和“语言指南”；详细的来龙去脉请见博客上关于语言递归式自我改进的文章。

4. 搜索与检索质量

语义搜索的质量是多模态的：文本、AST、图谱和嵌入相互融合。我们如实记录经过深思熟虑的工程取舍，而不是宣称拥有无可匹敌的检索能力：

• 嵌入使用的是商用模型系列（截至 2026 年 6 月博客快照时为 voyage-4-large），在做出选型决策时是对照公开的检索排行榜挑选的
• 向量经过二值量化以节省存储和成本；这会刻意牺牲一部分检索精确率，以换取无需独立向量数据库、更便宜也更快的汉明搜索
• 意图路由和融合权重是人工设计的启发式方法。2025 年 12 月的一份提案估计，无结果查询的基线比例约为 15%，并将目标定为低于 5%；我们尚未提供能够证明这一降幅的查询集或测量记录。证据记录更正了此前关于已实现改进的声明。
• 博客文章中都设有“仍不完美之处”的章节——不完美的信号是记录的一部分，而不是用来遮掩的脚注

5. 成本主张

Maguyva 上关于成本的表述，讲的是定价结构和运营透明度，而不是由第三方认证的正式 TCO 研究。

• 工作区定价：按代码仓库数量、已索引行数和重建频率计费——而不是按人头或 agent 席位计费。常见问题和套餐说明中详列了各项计费维度。
• 价格示例将 25 个付费席位（每席示例价格为 $19–$59）与每月 $49 的 Crew 进行比较。节省金额取决于团队规模和替代产品；这不是同等功能对比，也不是独立的竞品基准评测。
• 运营成本上的坦诚：/team 页面公布了真实的每月软件开支明细（订阅、MCP/搜索工具、随用量变化的成本）。这是“零号客户”式的透明度，而不是经过审计的财务报表。
• 嵌入和基础设施成本是我们认可的产品成本（高级嵌入、存储、图谱重建）。我们是有意为此买单的，并在 voyage-4-large 的文章和定价说明中如实说明。

6. 我们不主张什么

本页面同时也是一份“非主张”清单。如果某项内容没有出现在度量看板上，就不要把营销口吻当作证据。

• 我们不为每一种语言提供笼统的绝对精确率保证。测试夹具阈值是针对已知用例、按语言逐一适用的；现实世界中残留的错误在预期之内，我们持续改进以减少这些错误。
• 我们不主张 overall_green 就等于对每一种仓库写法都能做到生产环境级完美提取
• 我们不会在本页面上把任何第三方合规认证套件当作方法论成果来宣称（数据处理相关事实请见“安全”页面，那里没有合规徽章）
• 我们没有把使用共享语料库的独立多厂商横向评测，作为一份常设记分卡对外发布
• 搜索结果和分析在《服务条款》下仍属尽力而为——Maguyva 不能替代代码审查、测试或安全审计

7. 如何自行验证

我们建议的买家操作路径始终是：为一个你已经熟悉的仓库建立索引，提出一个真实的问题，然后检查引用出处。

• 免费开始：第一天，有代表性的小型仓库胜过整个公司的索引
• 使用 MCP 工具（intelligent_search、find_symbol、dependency_search），并打开被引用的路径
• 关于数据摄取和检索架构，请阅读“运作原理”（How It Works）
• 关于能力分层（而不仅仅是目录规模），请阅读“兼容性”和“语言指南”
• 关于数据处理，请阅读“安全”和“隐私”；本页面并不能取代它们