Kiểm thử tính năng AI và RAG

Hãy kiểm thử toàn bộ hệ thống AI, không chỉ câu trả lời cuối cùng của model. Với một trợ lý chính sách, phạm vi này bao gồm authentication, bộ lọc theo tenant và role, retrieval, xây dựng prompt, hành vi của model, bộ lọc phản hồi, trích dẫn nguồn, khả năng truy vết, độ trễ, chi phí và cơ chế chuyển tiếp cho con người xử lý.

Luồng AI đầu cuối

sequenceDiagram
    participant U as Nhân viên
    participant A as Ứng dụng
    participant R as Retriever
    participant M as Language model
    participant G as Guardrails
    U->>A: Đặt câu hỏi chính sách
    A->>A: Xác thực và áp dụng bộ lọc tenant/role
    A->>R: Truy xuất đoạn chính sách đã được duyệt
    R-->>A: Danh sách đoạn xếp hạng và source ID
    A->>M: Gửi prompt kèm ngữ cảnh được phép
    M-->>A: Câu trả lời ứng viên
    A->>G: Kiểm tra an toàn, privacy và định dạng
    G-->>A: Cho phép, từ chối hoặc chuyển tiếp
    A-->>U: Trả lời kèm nguồn hoặc fallback an toàn

Định nghĩa hành vi chấp nhận được trước tiên

Product, chuyên gia HR/nghiệp vụ, AI engineering, QA, Legal và Security cần thống nhất về chủ đề có thể trả lời, nguồn đáng tin cậy, điều kiện từ chối/chuyển tiếp, yêu cầu trích dẫn, giới hạn theo tenant, mục tiêu độ trễ/chi phí, các chiều đánh giá và ngưỡng phát hành.

Bộ dữ liệu đánh giá

Xây dựng một bộ dữ liệu có phiên bản, được con người review, bao phủ câu hỏi thường gặp, các biến thể cách diễn đạt, yêu cầu mơ hồ, câu hỏi liên quan nhiều tài liệu, tài liệu lỗi thời/mâu thuẫn, câu hỏi không thể trả lời, prompt injection, yêu cầu xuyên user/xuyên tenant, chủ đề nhạy cảm và các ngôn ngữ được hỗ trợ. Tách case dùng để phát triển/tinh chỉnh khỏi bộ regression đã khóa. Làm sạch dữ liệu từ lỗi thực tế trên production trước khi thêm vào bộ đánh giá.

Chấm điểm theo nhiều chiều

Chiều	Câu hỏi	Ví dụ cách đo
Correctness	Câu trả lời có đúng về mặt sự kiện không?	Rubric chuyên gia hoặc tỷ lệ câu trả lời được chấp nhận
Groundedness	Các khẳng định có được nguồn đã duyệt hỗ trợ không?	Tỷ lệ phần trăm khẳng định có nguồn hỗ trợ
Chất lượng retrieval	Có tìm đúng đoạn tài liệu không?	Recall@k, precision@k, các chỉ số xếp hạng
Completeness	Có bao gồm đủ điều kiện và ngoại lệ quan trọng không?	Độ bao phủ các điểm bắt buộc
Safety/privacy	Hệ thống có ngăn được tiết lộ gây hại hoặc trái phép không?	Số lần vi phạm nghiêm trọng
Refusal quality	Có từ chối đúng lúc cần từ chối không?	Tỷ lệ từ chối đúng và từ chối sai
Consistency	Kết quả có ổn định qua nhiều lần chạy lặp lại không?	Tỷ lệ pass qua các lần chạy lặp
Performance/cost	Có đạt mục tiêu dịch vụ và ngân sách không?	Độ trễ p95, số token, chi phí mỗi request

Dùng kiểm tra tất định cho schema, trích dẫn, định danh, mẫu PII, access control và các trường hợp bắt buộc từ chối; dùng chỉ số retrieval cho evidence đã biết; dùng automated judge đã hiệu chỉnh để mở rộng quy mô; dùng con người review cho các trường hợp mơ hồ rủi ro cao; và chạy lặp lại để đánh giá biến thiên xác suất. Không bao giờ coi automated judge là chân lý tuyệt đối.

Logic phát hành

flowchart TD
    A[Thay đổi model prompt retrieval policy hoặc guardrail] --> B[Chạy bộ evaluation đã khóa]
    B --> C[Phân tích theo tenant role ngôn ngữ chủ đề và rủi ro]
    C --> D{Có lỗi critical về privacy authorization hoặc safety}
    D -->|Có| E[Chặn release]
    D -->|Không| F{Ngưỡng tổng thể và từng slice đều đạt}
    F -->|Không| G[Tinh chỉnh sửa lỗi hoặc ghi nhận rủi ro]
    F -->|Có| H[Rollout giới hạn]
    H --> I[Theo dõi chất lượng độ trễ chi phí phản hồi và drift]
    I --> J[Làm sạch lỗi thực tế và thêm case regression]

Các con số minh họa trong tài liệu nguồn — ví dụ 90% mức chấp nhận tổng thể hay 98% groundedness — cần được duyệt lại cho đúng sản phẩm và mức rủi ro thực tế. Một lỗi privacy nghiêm trọng sẽ chặn release bất kể số liệu trung bình cao đến đâu.

Code do AI sinh ra

Coi code do AI sinh ra là chưa đáng tin cho đến khi vượt qua review của con người, khả năng truy vết, test theo tầng, quét bảo mật và dependency, kiểm tra license/nguồn gốc khi cần, và kiểm định hiệu năng/bảo mật cho các thay đổi rủi ro cao. Build xanh và khối lượng lớn code sinh ra không phải là bằng chứng chất lượng.

Quay lại trang chính