Đo lường & Phân hạng tự động các mô hình AI miễn phí

Benchmark chuẩn xác mô hình AI Free Tier trên 9router

Viết hoàn toàn bằng Rust với hiệu năng vượt trội. Đọc trực tiếp trạng thái runtime, bảo tồn quota qua cơ chế 2-stage probing và tự động cập nhật cấu hình cho agent Hermes.

Read-only SQLite (~/.9router)

2-Stage Preflight & Probe

Tự động map 12 Provider Free

Hermes 1-Click Apply

Xem bảng xếp hạng 34 Model Tài liệu & Lệnh vận hành

terminal — bash

Rust binary

$ ./dist/models-native benchmark --top 3

Models discovered: 35

Active/free provider connections: 12

Benchmark candidates: 34

RANK / MODEL SCORE / LATENCY

1. agnes/agnes-2.5-flash 98.0 • 843ms

2. ollama/gemma4:31b 98.0 • 656ms

5. cbai/deepseek-v4.1-flash 95.0 • 1513ms

Zero disk writing on 9router DB 100% Rust Native

Nguyên Lý Hoạt Động Cốt Lõi

Quy Ước 3 Lớp & Luồng Đo 2 Giai Đoạn

Khác với các benchmark thông thường gây nghẽn và tiêu tốn quota, models-native áp dụng thiết kế thông minh để bảo toàn tài nguyên người dùng.

Điều kiện hợp lệ 3 lớp

Free Tier Eligibility Contract

Chỉ model thỏa cả 3 điều kiện mới được giữ lại

/v1/models

Model phải xuất hiện trong chat-routable runtime inventory được cấp quyền qua API Key.

AND inventory = true

! /api/models/disabled

Model không nằm trong danh sách người dùng đã chủ động tắt trong giao diện 9router UI.

AND disabled = false

isActive = 1

Provider connection tương ứng trong SQLite phải ở trạng thái active (hoạt động).

AND provider = active

Model Được Giữ Lại

Đủ điều kiện tham gia benchmark hoặc hiển thị trong danh sách discovery.

Eligible Candidate

Giai đoạn 1: UI Validation (/api/models/test)

Cấp độ từng Model (Model-level Preflight)

Mỗi ứng viên được kiểm tra đúng 1 lần qua endpoint /api/models/test với chính routedModel.

Xác nhận model còn sống, gán nhãn Healthy ✓ nếu phản hồi đạt chuẩn.
Nếu timeout/lỗi mạng: đánh dấu UI TEMP, không loại oan model.
OpenCode (oc/*) chạy trên 1 luồng tuần tự riêng để tránh dồn tải adapter.

Giai đoạn 2: Representative Agent Probe

Cấp độ Provider (Tiết kiệm Token & Quota)

Không probe bừa bãi! Chỉ chọn 1 model UI PASS đầu tiên đại diện cho nhóm provider để kiểm tra Function Calling & Chỉ lệnh.

Gọi hàm không tác dụng phụ models_native_echo với tool_choice: auto.
Hỗ trợ parser cả Chat Completions (tool_calls) và OpenAI Responses envelopes.
Chỉ model đại diện mới hiển thị Latency thực, các model cùng nhóm kế thừa trạng thái Tools/Instruction.

12 Provider Free Tier Được Hỗ Trợ

ollama ns: ollama Local/Free

cloudflare-ai ns: cf Workers AI

poolside ns: ps Laguna 1M

nvidia ns: nvidia NIM Cloud

agnes ns: agnes Agnes 2.5

opencode ns: oc Dynamic Zen

bazaarlink ns: bzl Ref-Only (0 Probe)

airforce ns: af Free Tier

kilo ns: kc Free Tier

cbai ns: cbai Free Credits

mistral ns: mistral Codestral

vercel ns: vercel Fallback

Dữ Liệu Thực Tế (Runtime Benchmark)

Bảng Xếp Hạng 34 Models Free Tier

Kết quả đo lường độ trễ, điểm benchmark tổng hợp và khả năng gọi Tool / Instruction

Candidates: 34 Active Providers: 12 Top Score: 98.0 (843ms)

Review Loop (≥128k)

Rank	Score	Latency	Tools	Instruction	Runtime Model ID	Context	Healthy	Chẩn đoán / Note	Apply

Healthy ✓: PASS qua /api/models/test Score trống: Kế thừa từ Model đại diện nhóm bzl/*: Chế độ reference-only (bảo toàn quota)

Hiển thị 34/34 models

Bazaarlink Reference-Only Policy

Bazaarlink giới hạn khắt khe 10 RPM, 50 request/ngày. Do đó models-native không gửi request đo lường tới bzl/* để bảo vệ quota thực tế cho review loop của lập trình viên.

Yêu cầu Context cho Agent Hermes

Hermes yêu cầu context tối thiểu ≥ 64,000 token. Các model thấp hơn sẽ nhận ghi chú chẩn đoán nhưng vẫn hiển thị đầy đủ điểm benchmark.

Trung Tâm Chỉ Huy Terminal

Bộ Lệnh CLI & Quy Trình Vận Hành

models-native cung cấp 3 lệnh chuẩn tắc: list, benchmark, và apply.

Benchmark Suite

Mặc định hiển thị toàn bộ ứng viên (--top 0). Không cần tham số phụ vẫn thấy đủ danh sách.

# Chạy benchmark toàn bộ 34 model

models-native benchmark

# Lần đầu hoặc refresh session qua password bảo mật:

models-native --password benchmark

# Giới hạn top N & điều chỉnh mức độ song song:

models-native benchmark --top 10 --concurrency 4

# Xuất định dạng JSON cho CI/CD pipeline:

models-native benchmark --json

Mật khẩu không lưu lâu dài; session được mã hoá mode 0600 trong ~/.models-native/session.json.

Bảo Vệ Dữ Liệu

Cam Kết An Toàn & Bảo Mật Tuyệt Đối

models-native được thiết kế với tư duy Zero Side-Effects đối với cơ sở dữ liệu và bảo vệ nghiêm ngặt các thông tin định danh (credentials).

Read-Only SQLite

Cơ sở dữ liệu ~/.9router/db/data.sqlite luôn được mở ở chế độ READ-ONLY. Tuyệt đối không bao giờ thực hiện các lệnh UPDATE, INSERT hoặc DELETE.

Key Redaction In-Memory

API Keys và JWT Auth Token chỉ tồn tại trong bộ nhớ RAM khi chạy. Giá trị Debug của state luôn hiển thị [REDACTED], không ghi log ra file hay stdout/stderr.

File Permission 0600

File lưu session session.json được gán quyền riêng tư ngặt nghèo 0600 và thư mục cha 0700 nhằm ngăn chặn mọi truy cập trái phép từ các user khác trên hệ thống.

Phân Định Rõ Ràng Trách Nhiệm (Separation of Concerns)

models-native đảm nhiệm:

Đọc connection & API key đang active từ SQLite
Khởi tạo & lưu dashboard session bảo mật
Discovery & phân loại FreeStatus/Evidence
Lọc chat-routable inventory & model bị tắt trong UI
2-Stage Benchmark & Bảng xếp hạng Ranking
Áp dụng cấu hình mặc định cho Hermes agent

9router đảm nhiệm:

Xác thực Provider & lưu trữ Credential
Thực thi mạng kết nối & điều hướng (Routing)
Thực thi Upstream API (Inference calls)
Giao diện quản lý model bật/tắt (Dashboard UI)
Cung cấp canonical catalog (/api/models)