Bỏ qua điều hướng
Nhận Quy Trình

Chunking là gì? Cách cắt tài liệu thành đoạn nhỏ để AI tìm đúng câu trả lời

Máy hủy giấy cắt tài liệu thành những mảnh nhỏ

Bạn đưa cho AI agent một file bảng giá dài 40 trang, rồi khách hỏi: “Gói bảo hành 12 tháng giá bao nhiêu?”. Agent trả lời sai, dù đáp án nằm ngay trong file. Nguyên nhân thường không nằm ở AI “kém”, mà ở cách tài liệu được cắt nhỏ trước khi AI tra cứu. Việc cắt này gọi là chunking.

Chunking là gì?

Chunking (cắt đoạn) là chia một tài liệu dài thành nhiều đoạn nhỏ, mỗi đoạn là một “chunk”. Khi khách hỏi, hệ thống không đưa cả tài liệu cho AI mà chỉ chọn vài đoạn liên quan nhất. Đây là bước nền của kỹ thuật RAG, cách để AI đọc tài liệu công ty rồi trả lời.

Hình dung một cuốn sổ tay nhân viên. Nếu bạn xé từng trang rồi dán nhãn, người tra cứu sẽ tìm nhanh hơn là lật cả cuốn. Chunking cũng vậy, nhưng việc “xé” ở đâu mới là điều quyết định.

Vì sao phải cắt nhỏ?

  • AI chỉ đọc được một lượng nhất định mỗi lần. Giới hạn này gọi là context window. Nhét cả tài liệu vào vừa tốn chi phí vừa dễ làm AI bỏ sót chi tiết.
  • Tìm theo ý nghĩa cần đơn vị vừa phải. Hệ thống tìm kiếm chuyển mỗi đoạn thành dãy số mô tả ý nghĩa (xem bài về embedding và vector database). Đoạn quá dài thì ý bị loãng, đoạn quá ngắn thì thiếu ngữ cảnh.

Cắt thế nào là hợp lý?

1. Cắt theo ý, không cắt theo số ký tự

Cách thô nhất là cứ đủ 1.000 ký tự thì cắt. Hậu quả là câu “Gói 12 tháng giá 2.400.000đ” có thể bị chẻ làm đôi: nửa đầu ở đoạn này, con số ở đoạn kia. Hãy ưu tiên cắt theo tiêu đề, theo từng câu hỏi hoặc từng mục của bảng giá.

2. Giữ tiêu đề đi kèm mỗi đoạn

Một đoạn chỉ ghi “Giá: 2.400.000đ” thì không ai biết là giá của gói nào. Thêm tên mục vào đầu mỗi đoạn, ví dụ “Bảo hành – Gói 12 tháng: giá 2.400.000đ”, để đoạn tự nó đủ nghĩa.

3. Cho các đoạn chồng nhẹ lên nhau

Nên để đoạn sau lặp lại một hai câu cuối của đoạn trước. Cách này gọi là “chồng lấn” (overlap), giúp ý nối giữa hai đoạn không bị đứt.

4. Chọn kích thước vừa phải

Không có con số đúng cho mọi trường hợp. Với bộ câu hỏi thường gặp, mỗi cặp hỏi–đáp là một đoạn rất hợp lý. Với chính sách dài, thường cắt theo từng điều khoản. Bạn nên thử và đo lại thay vì đoán.

Ví dụ cho doanh nghiệp nhỏ

Một cửa hàng điện máy có file chính sách bảo hành 15 trang. Nếu cắt đều theo ký tự, khách hỏi “máy giặt bảo hành mấy năm” có thể nhận về đoạn nói về tivi. Nếu cắt theo từng nhóm sản phẩm và gắn tên nhóm vào đầu đoạn, agent lấy đúng đoạn “Máy giặt” ngay lần đầu.

Cách kiểm tra chunking có ổn không

  1. Chọn 10 câu hỏi khách hay hỏi nhất.
  2. Với mỗi câu, xem hệ thống lấy ra những đoạn nào.
  3. Nếu đáp án đúng không nằm trong số đó, hãy sửa cách cắt trước khi đổ lỗi cho AI.

Bước này cũng nên nằm trong bộ câu hỏi bạn dùng để thử agent trước khi chạy thật.

Tóm lại

Chunking là bước nhỏ nhưng ảnh hưởng lớn đến chất lượng câu trả lời của AI agent khi đọc tài liệu. Cắt theo ý, giữ tiêu đề, chồng nhẹ và thử bằng câu hỏi thật là bốn việc đủ để cải thiện rõ rệt mà không cần biết code.

Ảnh bìa: Manuel Schmalstieg / Wikimedia Commons, CC BY 4.0

Về blog

Bài viết gợi ý cho bạn

Nhắn Zalo 0383 071 257 Gọi 0383 071 257 Chat với AITrả lời ngay trên Messenger