측정 방식

1. 이 페이지가 존재하는 이유

회의적인 구매자가 마케팅 문구를 역으로 분석할 필요는 없어야 합니다. Maguyva는 저장소를 색인하고, 사이트 전반에 걸쳐 정밀도, 언어 커버리지, 비용에 관한 주장을 제시합니다. 이러한 주장에는 측정 범위에 대해 정직한 방법론 페이지가 필요합니다. 즉 무엇이 픽스처로 뒷받침되고, 무엇이 판단으로 뒷받침되며, 무엇이 독립적인 인증이 아니라 표현 방식에 불과한지를 밝히는 것입니다.

2. 무엇을 측정하는가

코드 인텔리전스 품질은 주로 언어 엔진에서 측정됩니다. 즉 소스에서 심볼, 관계, 그래프를 추출하는 능력이며, 주관적인 “에이전트 만족도” 점수가 아닙니다.

• 언어별 픽스처 스위트: 핸들러가 올바르게 추출해야 하는 예상 엣지와 심볼
• 픽스처 정확도 분류: GREEN에는 정밀도 ≥ 0.95, 재현율 ≥ 0.99, F1 ≥ 0.97, 최소 20개의 예상 엣지가 필요하며, 픽스처 선별·관리에 대한 추가 검사도 적용됩니다. 이는 알려진 테스트 사례에 대한 규칙이지, 통계적 신뢰도 추정이나 활성화된 모든 언어가 GREEN이라는 주장이 아닙니다.
• Language-audit 차원: 검증 보드상의 정확성, 구조적 무결성, 완전성, 품질, 성능
• 코퍼스 및 스팟체크 루프: 실제 저장소에서 샘플링한 엣지를 루브릭에 따라 분류(정답, 오탐, 타입/스코프/메타데이터 오류)—language-grind 관련 블로그 글에서 설명합니다
• 제품 기능 플래그: 서버가 광고하는 기능(AST, 지역 변수, 그래프 추출)을 카탈로그 규모와 분리하여 나타냅니다

중요: 픽스처는 우리가 작성한 픽스처를 기준으로 검증됩니다. GREEN(초록불)은 알려진 케이스가 통과했음을 의미합니다. 현실 세계의 모든 관용적 표현이 깔끔하게 추출된다는 것을 자동으로 의미하지는 않습니다. 이 구분은 의도적이며 공개되어 있습니다.

3. 초록불 vs 독립 검증

language-audit 보드는 여러 축을 사용하므로, 하나의 초록불을 “완벽함이 입증되었다”고 읽을 수는 없습니다. 보드의 대표 수치는 일반적으로 다음과 같이 나뉩니다:

• overall_green — 자체 스냅샷 픽스처 및 관련 코퍼스 게이트에 대해 회귀가 없는 상태(필요조건이지 충분조건은 아님)
• independently_verified — 스팟체크 시드와 같은 강한 판단 신호를 갖춘 상태(판정된 오류가 여전히 남아 있는 언어 포함)
• verified_clean / 샘플링된 엣지에서 판정된 오류 0건 — 판정 대상 언어 중 더 엄격한 부분집합
• curation / oracle trust — 픽스처 자체를 신뢰할 수 있는 오라클로 취급하는지 여부
• 구조적 플래그 — 그래프 추출 및 AST 기능은 카탈로그 등재와 동일하지 않습니다

마케팅상의 언어 수(예: “285개 이상의 언어”)는 카탈로그 규모, 즉 구성된 언어와 서버 항목 수입니다. 카탈로그 규모는 AST 품질 SLA가 아닙니다. 단일한 보기 좋은 숫자보다 단계별 보고를 선호합니다. 현재 제품 화면은 호환성과 언어 가이드를 참조하고, 자세한 경위는 블로그의 언어 재귀적 자기 개선 글을 참조하세요.

4. 검색 및 정보 인출 품질

시맨틱 검색 품질은 멀티모달입니다. 텍스트, AST, 그래프, 임베딩이 융합됩니다. 우리는 무적의 인출 능력을 주장하기보다, 의도적인 엔지니어링 상의 절충을 문서화합니다:

• 임베딩은 상용 모델 제품군(2026년 6월 블로그 스냅샷 기준 voyage-4-large)을 사용하며, 이는 의사결정 시점에 공개된 인출 리더보드를 기준으로 선정한 것입니다
• 벡터는 저장 공간과 비용을 위해 이진 양자화됩니다. 이는 별도의 벡터 데이터베이스 없이 더 저렴하고 빠른 해밍 검색을 위해 인출 정밀도의 일부를 의도적으로 절충한 것입니다
• 의도 라우팅과 융합 가중치는 설계된 휴리스틱입니다. 2025년 12월 제안서는 결과가 없는 검색의 초기 비율을 약 15%로 추정하고 5% 미만을 목표로 설정했습니다. 해당 감소를 입증하는 쿼리 집합이나 측정 기록은 제공하지 않았습니다. 근거 기록은 개선을 달성했다는 이전 주장을 바로잡습니다.
• 블로그 글에는 “아직 불완전한 부분” 섹션이 포함되어 있습니다. 불완전한 신호는 감추기 위한 각주가 아니라 기록의 일부입니다

5. 비용 주장

Maguyva의 비용 관련 표현은 가격 구조와 운영 투명성에 관한 것이며, 제3자가 인증한 공식 TCO 연구가 아닙니다.

• 워크스페이스 요금: 사람이나 에이전트 좌석 단위가 아니라 저장소 수, 색인된 라인 수, 재빌드 빈도로 청구됩니다. FAQ와 요금제 설명에 각 항목이 명시되어 있습니다.
• 요금 예시는 1인당 $19–$59의 예시 요금을 내는 유료 사용자 25명과 월 $49인 Crew를 비교합니다. 절감액은 팀 규모와 대안 제품에 따라 달라집니다. 동일 기능 간 비교나 독립적인 경쟁 벤치마크가 아닙니다.
• 운영 비용에 대한 정직함: /team 페이지에는 실제 월간 소프트웨어 지출 내역(구독, MCP/검색 도구, 사용량에 따른 비용)이 공개되어 있습니다. 이는 “0번 고객” 수준의 투명성이며, 감사받은 재무제표가 아닙니다.
• 임베딩 및 인프라 비용은 우리가 받아들인 제품 비용입니다(프리미엄 임베딩, 저장, 그래프 재빌드). 우리는 이를 의도적으로 부담하며, voyage-4-large 글과 요금 설명에서 그렇게 밝히고 있습니다.

6. 우리가 주장하지 않는 것

이 페이지는 “주장하지 않는 것”의 목록이기도 합니다. 어떤 것이 측정 보드에 없다면, 마케팅 어조를 증거로 취급하지 마세요.

• 모든 언어에 대한 포괄적인 절대 정밀도 보장은 없습니다. 픽스처 임계값은 알려진 케이스에 대해 언어별로 적용되며, 현실 세계에 남는 오류를 예상하고 있으며 이를 지속적으로 줄여 나가고 있습니다.
• overall_green이 모든 저장소 관용 표현에 대해 프로덕션 수준의 완벽한 추출과 같다고 주장하지 않습니다
• 제3자 컴플라이언스 인증 패키지를 이 화면에서 방법론 산출물로 주장하지 않습니다(데이터 처리 관련 사실은 보안 페이지를 참조하세요. 컴플라이언스 배지가 아닙니다)
• 공유 코퍼스를 사용한 독립적인 다중 벤더 비교 테스트를 상설 스코어카드로 공개하지 않습니다
• 검색 결과와 분석은 서비스 약관에 따라 최선의 노력에 그칩니다. Maguyva는 코드 리뷰, 테스트, 보안 감사를 대체하지 않습니다

7. 직접 검증하는 방법

권장하는 구매자 동선은 여전히 다음과 같습니다. 이미 잘 아는 저장소를 색인하고, 실제 질문 하나를 던지고, 인용된 출처를 확인하는 것입니다.

• 무료로 시작: 첫날에는 회사 전체를 색인하는 것보다 대표적인 소규모 저장소가 더 낫습니다
• MCP 도구(intelligent_search, find_symbol, dependency_search)를 사용하고 인용된 경로를 열어 보세요
• 수집 및 인출 아키텍처는 “작동 방식”(How It Works)을 읽어 보세요
• 카탈로그 규모만이 아니라 기능 계층에 대해서는 “호환성”과 “언어 가이드”를 읽어 보세요
• 데이터 처리는 “보안”과 “개인정보 보호”를 읽어 보세요. 이 페이지는 그것들을 대체하지 않습니다