เราวัดผลอย่างไร

1. เหตุใดจึงมีหน้านี้

ผู้ซื้อที่ตั้งข้อสงสัยไม่ควรต้องมานั่งถอดรหัสข้อความการตลาดย้อนกลับ Maguyva ทำดัชนีรีโพซิทอรีและนำเสนอคำกล่าวอ้างเรื่องความแม่นยำ ความครอบคลุมภาษา และต้นทุนทั่วทั้งไซต์ คำกล่าวอ้างเหล่านั้นต้องการคำอธิบายระเบียบวิธีอย่างตรงไปตรงมาเกี่ยวกับขอบเขตการวัดผล ว่าสิ่งใดมี fixture รองรับ สิ่งใดมีวิจารณญาณรองรับ และสิ่งใดเป็นเพียงการนำเสนอ ไม่ใช่การรับรองโดยอิสระ

2. เราวัดอะไร

คุณภาพของโค้ดอินเทลลิเจนซ์วัดกันที่เอนจินภาษาเป็นหลัก ได้แก่ การสกัดสัญลักษณ์ ความสัมพันธ์ และกราฟจากซอร์สโค้ด ไม่ใช่คะแนน “ความพึงพอใจของเอเจนต์” เชิงอัตวิสัย

• ชุด fixture ต่อภาษา: เอดจ์และสัญลักษณ์ที่คาดหวังซึ่งตัวจัดการต้องสกัดออกมาให้ถูกต้อง
• การจัดประเภทความแม่นยำของชุดทดสอบ: GREEN ต้องมี precision ≥ 0.95, recall ≥ 0.99, F1 ≥ 0.97 และเส้นเชื่อมที่คาดหวังอย่างน้อย 20 เส้น พร้อมผ่านการตรวจสอบการคัดสรรชุดทดสอบเพิ่มเติม นี่คือกฎสำหรับกรณีทดสอบที่ทราบคำตอบ ไม่ใช่ค่าประมาณความเชื่อมั่นทางสถิติหรือข้อกล่าวอ้างว่าทุกภาษาที่เปิดใช้งานมีสถานะ GREEN
• มิติของ language-audit: ความถูกต้อง ความสมบูรณ์เชิงโครงสร้าง ความครบถ้วน คุณภาพ และประสิทธิภาพบนกระดานตรวจสอบ
• ลูป ชุดข้อมูล และการสุ่มตรวจ: เอดจ์จากรีโพซิทอรีจริงที่สุ่มมาและจำแนกตามเกณฑ์ (ถูกต้อง, ผลบวกลวง, ข้อผิดพลาดด้านชนิด/ขอบเขต/เมทาดาทา) ตามที่อธิบายไว้ในโพสต์บล็อก language-grind ของเรา
• ธงความสามารถของผลิตภัณฑ์: สิ่งที่เซิร์ฟเวอร์ประกาศ (AST, ตัวแปรท้องถิ่น, การสกัดกราฟ) แยกต่างหากจากขนาดแคตตาล็อก

สำคัญ: fixture ตรวจสอบเทียบกับ fixture ที่เราเขียนขึ้นเอง สถานะเขียวหมายความว่ากรณีที่รู้จักผ่าน มันไม่ได้หมายความโดยอัตโนมัติว่ารูปแบบการเขียนโค้ดที่ใช้งานจริงทุกแบบจะถูกสกัดได้อย่างถูกต้อง ความแตกต่างนี้เป็นสิ่งที่ตั้งใจและเปิดเผยต่อสาธารณะ

3. สถานะเขียว เทียบกับ การยืนยันโดยอิสระ

กระดาน language-audit ใช้หลายแกน เพื่อไม่ให้ไฟเขียวเพียงดวงเดียวถูกตีความว่า “พิสูจน์แล้วว่าสมบูรณ์แบบ” ตัวเลขหลักบนกระดานมักแบ่งออกเป็น:

• overall_green — ปราศจากการถดถอยเมื่อเทียบกับ fixture แบบสแนปช็อตของตัวเองและด่านตรวจชุดข้อมูลที่เกี่ยวข้อง (จำเป็นแต่ไม่เพียงพอ)
• independently_verified — มีหลักฐานจากการประเมินที่หนักแน่น เช่น ตัวอย่างตั้งต้นสำหรับการสุ่มตรวจ (รวมภาษาที่การประเมินยังพบข้อผิดพลาด)
• verified_clean / ไม่พบข้อผิดพลาดในการประเมินเอดจ์ที่สุ่มมา — กลุ่มย่อยของภาษาที่ได้รับการประเมินซึ่งผ่านเกณฑ์ที่เข้มงวดกว่า
• curation / ความน่าเชื่อถือของข้อมูลอ้างอิง — ว่า fixture เองถือเป็นข้อมูลอ้างอิงที่เชื่อถือได้หรือไม่
• ธงเชิงโครงสร้าง — การสกัดกราฟและความสามารถ AST ไม่เหมือนกันกับการเป็นสมาชิกในแคตตาล็อก

จำนวนภาษาเชิงการตลาด (เช่น “285+ ภาษา”) คือขนาดแคตตาล็อก ได้แก่ ภาษาที่กำหนดค่าไว้และรายการในเซิร์ฟเวอร์ ขนาดแคตตาล็อกไม่ใช่ SLA ด้านคุณภาพ AST เราชอบการรายงานแบบแบ่งระดับมากกว่าจำนวนหัวเดียวที่ดูโก้เก๋ สำหรับความสามารถของผลิตภัณฑ์ในปัจจุบัน ดู «ความเข้ากันได้» และ «คู่มือภาษา» สำหรับรายละเอียดเชิงเล่าเรื่อง ดูโพสต์เรื่องการพัฒนาตนเองแบบเวียนซ้ำของภาษาบนบล็อก

4. คุณภาพของการค้นหาและการดึงข้อมูล

คุณภาพของการค้นหาเชิงความหมายเป็นแบบหลายรูปแบบ: ข้อความ, AST, กราฟ และเอ็มเบดดิ้งถูกหลอมรวมเข้าด้วยกัน เราจัดทำเอกสารการแลกเปลี่ยนเชิงวิศวกรรมที่ตั้งใจไว้ แทนที่จะกล่าวอ้างว่าการดึงข้อมูลของเราไร้ผู้ใดเทียบ:

• เอ็มเบดดิ้ง ใช้ตระกูลโมเดลเชิงพาณิชย์ (voyage-4-large ตามสแนปช็อตบล็อกเดือนมิถุนายน 2026) ซึ่งเลือกโดยเทียบกับลีดเดอร์บอร์ดการดึงข้อมูลสาธารณะ ณ เวลาที่ตัดสินใจ
• เวกเตอร์ถูกควอนไทซ์แบบไบนารีเพื่อการจัดเก็บและต้นทุน ซึ่งจงใจแลกความแม่นยำในการดึงข้อมูลบางส่วนไปกับการค้นหาแบบ Hamming ที่ถูกกว่าและเร็วกว่า โดยไม่ต้องมีฐานข้อมูลเวกเตอร์แยกต่างหาก
• การกำหนดเส้นทางตามเจตนาและน้ำหนักการรวมผลเป็นฮิวริสติกที่ออกแบบขึ้น ข้อเสนอในเดือนธันวาคม 2025 ประเมินอัตราคำค้นที่ไม่มีผลลัพธ์เริ่มต้นไว้ประมาณ 15% และตั้งเป้าหมายให้ต่ำกว่า 5% เรายังไม่ได้ให้ชุดคำค้นหรือบันทึกการวัดที่แสดงว่าลดลงได้จริง บันทึกหลักฐานแก้ไขข้อกล่าวอ้างเดิมที่ระบุว่าได้ปรับปรุงสำเร็จแล้ว
• โพสต์บล็อกมีส่วน “อะไรที่ยังไม่สมบูรณ์” สัญญาณที่ยังไม่สมบูรณ์เป็นส่วนหนึ่งของบันทึก ไม่ใช่เชิงอรรถที่ไว้ซ่อน

5. คำกล่าวอ้างด้านต้นทุน

ภาษาด้านต้นทุนบน Maguyva เป็นเรื่องของโครงสร้างการตั้งราคาและความโปร่งใสในการดำเนินงาน ไม่ใช่การศึกษา TCO อย่างเป็นทางการที่ได้รับการรับรองโดยบุคคลที่สาม

• การตั้งราคาเวิร์กสเปซ: คิดค่าบริการตามรีโพซิทอรี จำนวนบรรทัดที่ทำดัชนี และความถี่ในการสร้างใหม่ ไม่ใช่ตามที่นั่งของคนหรือเอเจนต์ คำถามที่พบบ่อยและข้อความของแผนอธิบายมิติเหล่านี้ไว้อย่างชัดเจน
• ตัวอย่างราคาเปรียบเทียบที่นั่งแบบเสียเงิน 25 ที่ ในราคาเพื่อประกอบตัวอย่าง $19–$59 ต่อที่นั่ง กับ Crew ที่ $49/เดือน เงินที่ประหยัดได้ขึ้นอยู่กับขนาดทีมและผลิตภัณฑ์ทางเลือก ไม่ใช่การเปรียบเทียบฟีเจอร์ที่เทียบเท่ากันหรือเกณฑ์เปรียบเทียบคู่แข่งจากแหล่งอิสระ
• ความซื่อสัตย์เรื่องต้นทุนดำเนินงาน: หน้า /team เผยแพร่รายละเอียดค่าใช้จ่ายซอฟต์แวร์รายเดือนจริง (การสมัครสมาชิก, เครื่องมือ MCP/การค้นหา, ต้นทุนที่ผันตามการใช้งาน) นั่นคือความโปร่งใสของ “ลูกค้าหมายเลขศูนย์” ไม่ใช่งบการเงินที่ผ่านการตรวจสอบ
• ต้นทุนเอ็มเบดดิ้งและโครงสร้างพื้นฐานเป็นต้นทุนผลิตภัณฑ์ที่ยอมรับ (เอ็มเบดดิ้งระดับพรีเมียม, การจัดเก็บ, การสร้างกราฟใหม่) เราจ่ายมันโดยตั้งใจและกล่าวเช่นนั้นไว้ในโพสต์ voyage-4-large และในคำบรรยายเรื่องราคา

6. สิ่งที่เราไม่กล่าวอ้าง

หน้านี้ยังเป็นรายการของสิ่งที่เราไม่กล่าวอ้างด้วย หากสิ่งใดไม่อยู่บนกระดานการวัดผล อย่าถือเอาน้ำเสียงการตลาดเป็นข้อพิสูจน์

• ไม่มีการรับประกันความแม่นยำสัมบูรณ์แบบครอบจักรวาลสำหรับทุกภาษา เกณฑ์ fixture ใช้กับกรณีที่รู้จักในแต่ละภาษา ข้อผิดพลาดในโลกจริงที่ยังหลงเหลือเป็นสิ่งที่คาดหมายและเราพยายามลดข้อผิดพลาดเหล่านั้นอย่างต่อเนื่อง
• ไม่มีการกล่าวอ้างว่า overall_green เท่ากับการสกัดที่สมบูรณ์แบบระดับโปรดักชันสำหรับทุกสำนวนในรีโพซิทอรี
• ไม่มีการอ้างชุดใบรับรองการปฏิบัติตามมาตรฐานจากบุคคลที่สามเป็นหลักฐานเชิงระเบียบวิธีในหน้านี้ (ดูข้อเท็จจริงเรื่องการจัดการข้อมูลที่หน้าความปลอดภัย ซึ่งไม่ได้แสดงตรารับรองมาตรฐาน)
• ไม่มีการเปรียบเทียบข้ามผู้จำหน่ายหลายรายอย่างอิสระบนคลังข้อมูลร่วมที่เผยแพร่เป็นตารางคะแนนถาวร
• ผลการค้นหาและการวิเคราะห์ยังคงเป็นการทำอย่างสุดความสามารถภายใต้ข้อกำหนดในการให้บริการ Maguyva ไม่ใช่สิ่งทดแทนการรีวิวโค้ด การทดสอบ หรือการตรวจสอบความปลอดภัย

7. วิธีตรวจสอบด้วยตนเอง

ขั้นตอนที่ตั้งใจไว้สำหรับผู้ซื้อยังคงเป็น: ทำดัชนีรีโพซิทอรีที่คุณเข้าใจอยู่แล้ว ถามคำถามจริงหนึ่งข้อ และตรวจสอบการอ้างอิง

• เริ่มฟรี: รีโพซิทอรีขนาดเล็กที่เป็นตัวแทนได้ดีกว่าดัชนีทั้งบริษัทในวันแรก
• ใช้เครื่องมือ MCP (intelligent_search, find_symbol, dependency_search) และเปิดเส้นทางที่ถูกอ้างอิง
• อ่าน «วิธีการทำงาน» เพื่อดูสถาปัตยกรรมการนำเข้าและการดึงข้อมูล
• อ่าน «ความเข้ากันได้» และ «คู่มือภาษา» เพื่อดูระดับความสามารถ ไม่ใช่เพียงขนาดแคตตาล็อก
• อ่าน «ความปลอดภัย» และ «ความเป็นส่วนตัว» เกี่ยวกับการจัดการข้อมูล หน้านี้ไม่ได้แทนที่เอกสารเหล่านั้น