Model Routing là gì? Cách chọn mô hình AI phù hợp cho từng tác vụ

Model Routing là gì? Model routing (định tuyến mô hình) là cơ chế tự động chọn mô hình AI nào xử lý một yêu cầu, dựa trên loại tác vụ, độ khó, mức rủi ro và tình trạng hệ thống lúc đó. Thay vì một mô hình cho mọi việc, hệ thống có vài “tuyến”: mô hình nhỏ cho việc đơn giản, mô hình mạnh cho việc khó, đường dự phòng khi một nhà cung cấp gặp sự cố.

Bài chi phí AI Marketing đã nêu phân tầng mô hình như một cách giảm chi phí, kèm cách dự toán. Ở đây đi tiếp sang phần vận hành: viết quy tắc chọn tuyến, xử lý khi tuyến chính hỏng, và đo xem từng tuyến có còn đạt chất lượng.

Bốn kiểu định tuyến

Thực tế thường kết hợp: quy tắc cố định cho phần lớn tác vụ, cộng một lớp rủi ro đè lên trên để những yêu cầu nhạy cảm luôn được xử lý cẩn thận nhất, bất kể chúng “dễ” hay “khó”.

Viết bảng tuyến

Bảng tuyến là tài liệu một trang mà ai trong đội cũng đọc được. Mỗi dòng trả lời: tác vụ gì, tuyến chính, điều kiện chuyển tuyến, dự phòng khi lỗi.

Tiêu chí chọn tuyến nên dựa trên thứ đo được: độ dài đầu vào, loại tác vụ, có chạm chủ đề nhạy cảm không, yêu cầu về độ trễ — khách đang chờ trên khung chat khác hẳn một báo cáo chạy ban đêm.

Thiết kế dự phòng khi lỗi hoặc quá tải

Nhà cung cấp mô hình nào cũng có lúc chậm, báo quá tải hay giới hạn tốc độ gọi. Thiết kế dự phòng tốt trả lời trước bốn câu:

1. Chờ bao lâu thì bỏ? Đặt thời gian chờ theo tác vụ: chat với khách chỉ vài giây, báo cáo ban đêm có thể lâu hơn nhiều.
2. Thử lại thế nào? Thử lại với khoảng giãn tăng dần và giới hạn số lần, để không dồn thêm tải đúng lúc hệ thống đang quá tải.
3. Chuyển sang đâu? Mô hình tương đương ở nhà cung cấp khác, hoặc mô hình nhỏ hơn cho tác vụ chịu được chất lượng thấp hơn. Prompt có thể phải chỉnh riêng cho mô hình dự phòng — kiểm tra trước, đừng giả định nó chạy y hệt.
4. Khi nào không dự phòng? Với tác vụ rủi ro cao, hạ xuống mô hình yếu hơn còn tệ hơn dừng lại. Chuyển cho người, hoặc báo người dùng thử lại sau.

Mỗi lần chạy dự phòng phải được ghi lại kèm lý do. Nếu tuyến dự phòng chạy thường xuyên, nó không còn là dự phòng mà là một tuyến chính chưa ai đánh giá.

Đo chất lượng từng tuyến

Định tuyến chỉ an toàn khi mỗi tuyến được đo riêng. Gộp chung, việc mô hình nhỏ làm sai một nhóm nhỏ yêu cầu sẽ bị điểm trung bình đẹp che mất.

• Chạy bộ đánh giá theo tuyến: mỗi tác vụ có bộ ca kiểm thử riêng, chấm trên cả mô hình chính lẫn mô hình dự phòng — cách dựng bộ xem bài AI Evaluation.
• Ghi tuyến được chọn cho từng yêu cầu để lọc lỗi theo tuyến — phần ghi nhận này thuộc AI Observability.
• Theo dõi tỷ lệ chuyển tuyến: tỷ lệ lên mô hình lớn hoặc chuyển người tăng đột ngột thường báo hiệu đầu vào đã đổi kiểu.
• Kiểm tra lại khi nhà cung cấp cập nhật mô hình: một tuyến đang đạt có thể tụt mà bạn không đổi gì.

Định tuyến theo rủi ro trong marketing

Với marketing, rủi ro lớn nhất thường không nằm ở câu khó mà ở câu nhạy cảm: giá, khuyến mãi, cam kết, công dụng sản phẩm sức khoẻ, so sánh với đối thủ. Một lớp nhận diện — từ khoá, danh mục sản phẩm, hoặc một bước phân loại — đánh dấu những yêu cầu này để đi tuyến mạnh, kèm tài liệu nguồn và người duyệt. Lớp nhận diện này thường dùng chung với các guardrails kiểm tra đầu ra.

Ví dụ giả định ở công ty logistics trên: câu “hàng vỡ thì được đền bao nhiêu?” nghe đơn giản và ngắn, một bộ phân loại theo độ khó sẽ xếp vào tuyến nhỏ. Lớp rủi ro bắt được chữ “đền” và “vỡ”, đưa nó sang tuyến có tài liệu điều khoản và người xác nhận. Đây là lý do lớp rủi ro nên đè lên mọi quy tắc khác.

Sai lầm thường gặp

• Hạ mô hình vì rẻ mà không chạy bộ đánh giá, rồi biết chất lượng tụt qua phản ánh của khách.
• Dùng chung một prompt cho mọi mô hình, trong khi mỗi mô hình phản ứng khác nhau với cùng chỉ dẫn.
• Dự phòng âm thầm: người dùng nhận đầu ra từ mô hình yếu hơn mà không ai hay.
• Bộ phân loại tuyến không được đánh giá, trở thành điểm hỏng duy nhất của cả hệ thống.
• Quá nhiều tuyến so với sức đội nhỏ: mỗi tuyến thêm là thêm một thứ phải kiểm thử.

Câu hỏi thường gặp