Как мы измеряем

1. Зачем нужна эта страница

Скептически настроенным покупателям не должно приходиться разгадывать, что стоит за маркетинговым текстом. Maguyva индексирует репозитории и представляет по всему сайту заявления о точности, охвате языков и стоимости. Этим заявлениям нужно описание методологии, честно обозначающее границы измерений: что подкреплено фикстурами, что подкреплено экспертной оценкой, а что является лишь подачей, а не независимой сертификацией.

2. Что мы измеряем

Качество интеллектуального анализа кода измеряется прежде всего на языковом движке — извлечение символов, связей и графов из исходного кода, — а не по субъективным оценкам «удовлетворённости агента».

• Наборы тестовых фикстур по каждому языку: ожидаемые рёбра и символы, которые обработчик обязан извлечь корректно
• Классификация точности на фикстурах: для GREEN нужны точность ≥ 0.95, полнота ≥ 0.99, F1 ≥ 0.97 и не менее 20 ожидаемых рёбер, а также дополнительные проверки отбора фикстур. Это правило для известных тестовых случаев, а не оценка статистической уверенности и не утверждение, что каждый включённый язык имеет статус GREEN.
• Направления аудита language-audit: точность, структурная целостность, полнота, качество и производительность на панели валидации
• Циклы по корпусам и выборочным проверкам: рёбра из реальных репозиториев, взятые как выборка и классифицированные по рубрике (верно, ложноположительно, ошибка типа/области/метаданных), — описаны в наших постах блога о language-grind
• Флаги возможностей продукта: то, что заявляет сервер (AST, анализ локальных областей видимости, извлечение графа), отдельно от размера каталога

Важно: Проверки на фикстурах используют тестовые случаи, которые мы написали сами. Зелёный статус означает, что известные случаи проходят проверки. Это не означает автоматически, что все конструкции кода из реальных проектов извлекаются без ошибок. Мы намеренно и открыто проводим это различие.

3. Зелёный статус против независимо подтверждённого

Панель language-audit использует несколько осей, чтобы один зелёный индикатор нельзя было прочитать как «доказанно безупречно». Ключевые показатели на панели обычно разбиты на:

• overall_green — отсутствие регрессий относительно фикстур собственного снимка и связанных проверок на корпусах (необходимое, но не достаточное условие)
• independently_verified — есть сильный сигнал экспертной оценки, например начальная выборка для выборочной проверки (включает языки, где всё ещё видны оценённые ошибки)
• verified_clean / ноль оценённых ошибок на выборочных рёбрах — более строгое подмножество оценённых языков
• curation / доверие к эталону — считаются ли сами фикстуры доверенными эталонами
• структурные флаги — извлечение графа и возможность AST не тождественны членству в каталоге

Маркетинговый счётчик языков (например, «285+ языков») — это размер каталога: настроенные языки и записи сервера. Размер каталога не является SLA качества AST. Предпочитайте многоуровневую отчётность единственной эффектной цифре. Актуальные сведения о продукте см. в разделах «Совместимость» и «Руководства по языкам»; повествовательные детали — в посте блога о рекурсивном самоулучшении языков.

4. Качество поиска и извлечения

Качество семантического поиска мультимодально: объединяются текст, AST, граф и эмбеддинги. Мы документируем осознанные инженерные компромиссы, а не заявляем о непревзойдённом извлечении:

• Эмбеддинги используют коммерческое семейство моделей (voyage-4-large по состоянию на снимок блога за июнь 2026 года), выбранное по результатам публичных рейтингов качества поиска на момент принятия решения
• Векторы бинарно квантуются для экономии места и снижения затрат; при этом мы осознанно жертвуем частью точности поиска ради более дешёвого и быстрого поиска Хэмминга без отдельной векторной базы данных
• Маршрутизация по намерению и веса слияния — это спроектированные эвристики. В предложении от декабря 2025 года исходная доля запросов без результатов оценивалась примерно в 15%, а целевое значение было ниже 5%; мы не предоставили набор запросов или протокол измерений, подтверждающий такое снижение. Запись с подтверждающими материалами исправляет прежнее утверждение о достигнутом улучшении.
• Посты блога включают разделы «что всё ещё несовершенно» — несовершенные сигналы являются частью записи, а не сносками для сокрытия

5. Заявления о стоимости

Утверждения Maguyva о стоимости касаются структуры ценообразования и операционной прозрачности, а не формального исследования TCO, сертифицированного третьей стороной.

• Ценообразование рабочего пространства: счёт выставляется по репозиториям, проиндексированным строкам и частоте пересборки, а не за каждого человека или агента. FAQ и текст тарифов подробно описывают эти параметры.
• В примере сравнивается плата за 25 пользователей по условной цене $19–$59 за пользователя с тарифом Crew за $49/месяц. Экономия зависит от размера команды и альтернативного продукта; это не сравнение одинаковых функций и не независимый конкурентный бенчмарк.
• Честность операционных затрат: страница /team публикует реальную помесячную разбивку расходов на ПО (подписки, инструменты MCP/поиска, затраты, зависящие от использования). Это прозрачность «клиента номер ноль», а не аудированная финансовая отчётность.
• Затраты на эмбеддинги и инфраструктуру — это принятые продуктовые издержки (премиальные эмбеддинги, хранение, пересборка графа). Мы несём их намеренно и говорим об этом в посте про voyage-4-large и в описании ценообразования.

6. Что мы не заявляем

Эта страница также является перечнем того, чего мы не заявляем. Если чего-то нет на панели измерений, не принимайте маркетинговый тон за доказательство.

• Никакой всеобъемлющей гарантии абсолютной точности для каждого языка. Пороговые значения для фикстур применяются по каждому языку к известным случаям; остаточные ошибки в реальном коде ожидаемы, и мы постоянно работаем над их устранением.
• Никакого заявления, что overall_green равен идеальному в продакшене извлечению для каждой конструкции кода в репозитории
• Никакого пакета сертификации соответствия от третьей стороны, заявленного как методологический артефакт на этой странице (факты об обработке данных см. в разделе «Безопасность», а не значки соответствия)
• Никакого независимого сравнения нескольких поставщиков на общих корпусах, опубликованного как постоянная оценочная таблица
• Результаты поиска и анализа остаются работой по принципу наилучших усилий согласно Условиям обслуживания — Maguyva не заменяет ревью кода, тестирование или аудит безопасности

7. Как проверить самостоятельно

Предполагаемый сценарий покупателя по-прежнему таков: проиндексируйте репозиторий, который вы уже понимаете, задайте один реальный вопрос и изучите ссылки на источники.

• Начните бесплатно: небольшие репрезентативные репозитории в первый же день лучше, чем индекс всей компании
• Используйте инструменты MCP (intelligent_search, find_symbol, dependency_search) и открывайте процитированные пути
• Прочитайте «Как это работает», чтобы понять архитектуру приёма и извлечения данных
• Прочитайте «Совместимость» и «Руководства по языкам», чтобы узнать уровни возможностей, а не только размер каталога
• Прочитайте «Безопасность» и «Конфиденциальность» об обработке данных; эта страница их не заменяет