Công cụ này làm gì
Vercel hướng dẫn truy cập Jev thông qua AI Gateway và một interface đánh giá trong AI SDK. Thư viện cung cấp hàm mà ứng dụng của bạn gọi; gateway là dịch vụ nhận và định tuyến request. Phân biệt này rất quan trọng khi bạn cấu hình thông tin xác thực hoặc điều tra lỗi.
Điểm truy cập AI SDK được tài liệu hóa là một evaluation API thử nghiệm. API này nhận context và các câu hỏi có tên, sau đó trả về câu trả lời cho những câu hỏi đó. Mục đích ở đây là đưa ra một nhận định để ứng dụng có thể xử lý, thay vì stream một câu trả lời dạng văn bản lên màn hình.
Phù hợp với ai
Tuyến này đáng cân nhắc khi AI SDK đã là một phần trong ứng dụng TypeScript của bạn và nhóm hiểu rõ cách triển khai của nó. Bạn có thể giữ các quyết định gần với mã model hiện có mà vẫn dành cho chúng một vai trò riêng. Nếu ứng dụng chỉ cần một request Jev, TypeSafe SDK chính thức có thể dễ bảo trì hơn việc áp dụng một lớp trừu tượng rộng hơn.
Một tình huống bạn có thể gặp
Một trang hỗ trợ khách hàng đã tạo các câu trả lời gợi ý. Trước khi soạn thảo, trang này có thể hỏi khách hàng cần hỗ trợ tài khoản, hỗ trợ sản phẩm hay xem xét thanh toán. Sau đó, mã của bạn chọn tài liệu tham khảo phù hợp và quyết định có tạo bản nháp hay không.
Hãy để người duyệt nhìn thấy kết quả phân loại. Nếu kết quả sai, chỉ thay đổi bản nháp sẽ không sửa được tuyến xử lý gốc. Lưu lần sửa đó thành một ví dụ đánh giá để có thể kiểm tra các thay đổi câu hỏi trong tương lai dựa trên cùng lỗi này.
Cách thiết lập ban đầu hợp lý
- Xác nhận phiên bản AI SDK nào hỗ trợ interface đánh giá Jev được tài liệu hóa.
- Cấu hình phương thức xác thực Gateway được hỗ trợ trong môi trường server.
- Dùng mã định danh evaluation model và định dạng request trong hướng dẫn tích hợp hiện tại của Jev.
- Chạy một bài kiểm tra nhỏ để kiểm tra riêng việc chọn danh mục và tạo câu trả lời.
- Thêm tuyến dự phòng và xem lại hợp đồng evaluation API khi nâng cấp dependency.
Cần cân nhắc gì trước khi chọn
Dùng chung một SDK có thể giúp codebase nhất quán hơn, nhưng interface thử nghiệm đòi hỏi bạn chú ý trong quá trình nâng cấp. Hãy ghim dependency phù hợp và duy trì một bài kiểm tra tích hợp nhỏ để xác minh các trường mà mã của bạn sử dụng. Các lượt gọi tạo văn bản thành công không chứng minh rằng evaluation call đã được cấu hình đúng.
Quyền truy cập Gateway cũng không có nghĩa mọi model nhận cùng loại input hoặc hỗ trợ cùng thao tác. Hãy giữ các kiểm tra chính xác về tài khoản và quyền trong mã ứng dụng. Dùng kết quả quyết định như một đầu vào cho các quy tắc đó, đặc biệt trước khi một hành động tác động đến khách hàng.
Tài khoản và chi phí vận hành
Kiểm tra quyền truy cập model và điều khoản tính phí hiện tại của Gateway đối với tài khoản của bạn. Hosting, suy luận model và các dịch vụ khác trong quy trình có thể phát sinh những khoản phí riêng. Đo tần suất một request đến dẫn đến việc phân loại, soạn thảo và thử lại. Lưu bộ nhớ kết quả xem xét không thay đổi có thể hữu ích, nhưng key của kết quả cũng nên phản ánh câu hỏi và phiên bản model đã được đánh giá.