> methodology.md
Як ми вимірюємо
Ця сторінка — буквально те місце, де можна прочитати, на чому ґрунтуються твердження Maguyva про якість і вартість. Тут лише факти: що ми вимірюємо, як це оцінюємо і що ми не вдаємо, ніби перевірили аудитом.
Чинна з 17 липня 2026 року. Тут не вигадуються нові неперевірені бенчмарки. Поточні показники містяться на продуктових поверхнях, які перегенеровуються з вихідних даних; ця сторінка пояснює модель вимірювання.
Це переклад, створений за допомогою ШІ, наданий для вашої зручності. Офіційною є лише англійська версія — будь-яка угода, яку ви укладаєте під час реєстрації, регулюється саме англійським текстом. Прочитати офіційну англійську версію
tl;dr — Твердження про якість спираються на fixture-гейти релізу та багатовимірні дошки language-audit, а не на єдиний доказ «100% точності». Зелений статус на fixtures — це не те саме, що незалежно підтверджене коректне вилучення. Твердження про вартість — це розрахунок цін робочого простору та публічна прозорість операційних витрат, а не конкурентний аудит третьої сторони.
1. Навіщо існує ця сторінка
Скептично налаштованим покупцям не варто розшифровувати маркетинговий текст у зворотний бік. Maguyva індексує репозиторії та подає по всьому сайту твердження про точність, охоплення мов і вартість. Цим твердженням потрібна методологічна поверхня, чесна щодо меж вимірювання: що підкріплено fixtures, що підкріплено експертною оцінкою, а що є лише подачею, а не незалежною сертифікацією.
2. Що ми вимірюємо
Якість інтелектуального аналізу коду вимірюється передусім на мовному рушії — вилучення символів, зв'язків і графів із вихідного коду, — а не за суб'єктивними оцінками «задоволеності агента».
- Набори fixtures для кожної мови: очікувані ребра та символи, які обробник має вилучити коректно
- Гейти релізу: мови випускаються лише тоді, коли точність, повнота та F1 на fixtures перевищують опубліковані пороги (точність ≥ 0,95, повнота ≥ 0,99, F1 ≥ 0,97 на fixtures, з мінімальною кількістю ребер для статистичної достовірності)
- Виміри language-audit: точність, структурна цілісність, повнота, якість і продуктивність на дошці валідації
- Цикли за корпусами та вибірковими перевірками: ребра з реальних репозиторіїв, узяті як вибірка та класифіковані за рубрикою (правильно, хибнопозитивно, помилка типу/області/метаданих), — описані в наших дописах блогу про language-grind
- Прапорці можливостей продукту: те, що оголошує сервер (AST, локальні змінні, вилучення графа), окремо від розміру каталогу
Важливо: Fixtures перевіряються відносно fixtures, які написали ми самі. Зелений статус означає, що відомі випадки проходять. Він не означає автоматично, що кожна реальна ідіома вилучається чисто. Це розрізнення зроблено навмисно і є публічним.
3. Зелений статус проти незалежно підтвердженого
Дошка language-audit використовує кілька осей, щоб один зелений індикатор не можна було прочитати як «доведено бездоганно». Ключові числа на дошці зазвичай розбиті на:
- overall_green — відсутність регресій відносно fixtures власного знімка та пов'язаних корпусних гейтів (необхідна, але не достатня умова)
- independently_verified — має сильний сигнал експертної оцінки, наприклад початкова вибірка для вибіркової перевірки (включає мови, де все ще видно оцінені помилки)
- verified_clean / нуль оцінених помилок на вибіркових ребрах — суворіша підмножина оцінених мов
- curation / довіра до еталона — чи вважаються самі fixtures довіреними еталонами
- структурні прапорці — вилучення графа та можливість AST не тотожні членству в каталозі
Маркетинговий лічильник мов (наприклад, «279+ мов») — це розмір каталогу: налаштовані мови та записи сервера. Розмір каталогу не є SLA якості AST. Надавайте перевагу багаторівневій звітності перед єдиною ефектною цифрою. Актуальну продуктову поверхню див. у розділах «Сумісність» і «Посібники з мов»; оповідні деталі — у дописі блогу про рекурсивне самовдосконалення мов.
4. Якість пошуку та вилучення
Якість семантичного пошуку мультимодальна: об'єднуються текст, AST, граф та ембединги. Ми документуємо свідомі інженерні компроміси, а не заявляємо про неперевершене вилучення:
- Ембединги використовують комерційне сімейство моделей (voyage-4-large станом на знімок блогу за червень 2026 року), обране відносно публічних лідербордів вилучення на момент ухвалення рішення
- Вектори бінарно квантуються заради зберігання та вартості; це свідомо жертвує частиною точності вилучення заради дешевшого та швидшого пошуку Геммінга без окремої векторної бази даних
- Маршрутизація наміру та ваги злиття — це інженерні евристики з виміряними операційними ефектами (наприклад, нижча частка нульових результатів після маршрутизації наміру), а не опублікований незалежний набір для оцінювання IR на корпусах клієнтів
- Дописи блогу містять розділи «що все ще недосконале» — недосконалі сигнали є частиною запису, а не виносками для приховування
5. Твердження про вартість
Мова вартості в Maguyva стосується структури ціноутворення та операційної прозорості, а не формального дослідження TCO, сертифікованого третьою стороною.
- Ціноутворення робочого простору: рахунок виставляється за репозиторіями, проіндексованими рядками та частотою перезбирання, а не за місце людини чи агента. FAQ і текст тарифів докладно описують ці виміри.
- Порівняння на кшталт «приблизно в 10–30 разів менше» на сторінці цін — це ілюстративний розрахунок відносно типових діапазонів ціни за місце, залежно від того, з яким інструментом з оплатою за місце ви порівнюєте. Це не зафіксований незалежний пакет конкурентних бенчмарків.
- Чесність операційних витрат: сторінка /team публікує реальну помісячну розбивку витрат на ПЗ (підписки, інструменти MCP/пошуку, витрати, залежні від використання). Це прозорість «клієнта номер нуль», а не аудійована фінансова звітність.
- Витрати на ембединги та інфраструктуру — це прийняті продуктові витрати (преміальні ембединги, зберігання, перезбирання графа). Ми несемо їх навмисно і говоримо про це в дописі про voyage-4-large та в описі ціноутворення.
6. Чого ми не заявляємо
Ця сторінка також є переліком того, чого ми не заявляємо. Якщо чогось немає на дошці вимірювань, не сприймайте маркетинговий тон як доказ.
- Жодної всеосяжної гарантії абсолютної точності для кожної мови. Пороги fixtures застосовуються для кожної мови до відомих випадків; залишкова реальна помилка очікувана і відкрито визнається.
- Жодного твердження, що overall_green дорівнює ідеальному в продакшені вилученню для кожної ідіоми репозиторію
- Жодного пакета сертифікації відповідності від третьої сторони, заявленого як методологічний артефакт на цій поверхні (факти про обробку даних див. у розділі «Безпека», а не значки відповідності)
- Жодного незалежного багатопостачальницького порівняння на спільних корпусах, опублікованого як постійна оцінна таблиця
- Результати пошуку та аналізу залишаються роботою за принципом найкращих зусиль згідно з Умовами обслуговування — Maguyva не замінює рев'ю коду, тестування чи аудит безпеки
7. Як перевірити самостійно
Передбачуваний сценарій покупця досі такий: проіндексуйте репозиторій, який ви вже розумієте, поставте одне реальне запитання і вивчіть посилання на джерела.
- Почніть безкоштовно: невеликі репрезентативні репозиторії першого ж дня кращі, ніж індекс усієї компанії
- Використовуйте інструменти MCP (intelligent_search, find_symbol, dependency_search) і відкривайте процитовані шляхи
- Прочитайте «Як це працює», щоб зрозуміти архітектуру приймання та вилучення даних
- Прочитайте «Сумісність» і «Посібники з мов», щоб дізнатися рівні можливостей, а не лише розмір каталогу
- Прочитайте «Безпека» і «Конфіденційність» про обробку даних; ця сторінка їх не замінює