Bạn từng trò chuyện với AI một lúc lâu rồi nhận ra nó không còn nhớ yêu cầu ban đầu? Đó thường không phải lỗi ngẫu nhiên mà liên quan đến một khái niệm tên là context window.
Context window là gì
Context window (cửa sổ ngữ cảnh) là tổng lượng nội dung mà mô hình AI có thể “nhìn thấy” cùng lúc khi trả lời: lời dặn hệ thống, lịch sử trò chuyện, tài liệu bạn đính kèm và cả câu trả lời nó đang viết. Đơn vị đo là token, tạm hiểu là một mảnh từ. Tiếng Việt thường tốn nhiều token hơn tiếng Anh cho cùng một nội dung.
Có thể ví nó như bàn làm việc: bàn càng rộng thì trải được càng nhiều giấy tờ. Hết chỗ thì phải bỏ bớt giấy cũ.
Vì sao AI “quên”
- Cuộc trò chuyện quá dài: phần cũ bị cắt hoặc tóm tắt, chi tiết nhỏ mất đi.
- Nhồi quá nhiều tài liệu: dù còn chỗ, mô hình có thể chú ý kém vào thông tin nằm giữa đoạn dài.
- Mỗi phiên là một bàn mới: mở cuộc trò chuyện mới thì AI không tự nhớ cuộc trước, trừ khi có tính năng bộ nhớ riêng.
5 cách làm việc tốt hơn
- Đặt yêu cầu quan trọng ở đầu và nhắc lại khi cần.
- Tóm tắt định kỳ: sau mỗi giai đoạn, nhờ AI tóm tắt quyết định đã chốt rồi dán sang phiên mới.
- Chỉ đưa tài liệu liên quan: thay vì cả thư mục, hãy chọn đúng đoạn cần.
- Chia việc lớn thành bước nhỏ, mỗi bước một phiên gọn.
- Dùng tra cứu thay vì nhồi: với kho tài liệu lớn, kỹ thuật RAG lấy đúng đoạn cần cho mỗi câu hỏi.
Ý nghĩa với AI agent
Agent làm việc nhiều bước nên ngữ cảnh phình rất nhanh vì mỗi lần gọi công cụ đều thêm kết quả vào. Agent thiết kế tốt sẽ tóm tắt bước cũ, chỉ giữ thông tin cần và lưu ghi chú ra ngoài. Khi chọn giải pháp, hãy hỏi nhà cung cấp agent xử lý ngữ cảnh dài thế nào.
Kết luận
Context window lớn là lợi thế nhưng không phải thuốc tiên. Cách bạn sắp xếp thông tin đưa cho AI quan trọng không kém dung lượng của nó.