Định tuyến

Để Valefront tự chọn với auto

Đặt model thành auto trong một yêu cầu chat completions. Valefront đánh giá yêu cầu và định tuyến nó đến một mô hình đang khả dụng, kèm cơ chế dự phòng giữa các nhà cung cấp khi được hỗ trợ.

curl https://llm.valefront.com/v1/chat/completions \
  -H "Authorization: Bearer $VALEFRONT_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Summarize this call"}]}'

Hãy dùng một mã mô hình cụ thể khi ứng dụng của bạn cần một đích cố định. Trang mô hình và bảng giá có liên kết tới phản hồi giá trực tiếp.

Cách auto lựa chọn

1. Valefront lần lượt duyệt các nhà cung cấp trong nhóm của mình theo thứ tự và dùng nhà cung cấp đầu tiên có thể phục vụ yêu cầu.
2. Một nhà cung cấp bị bỏ qua khi bị giới hạn tốc độ hoặc vượt ngân sách, tự báo không khả dụng, không có mô hình nào được bật để định tuyến, hoặc không đọc được nội dung của yêu cầu (ví dụ hình ảnh).
3. Nếu nhà cung cấp được chọn gặp lỗi, yêu cầu tự động chuyển sang nhà cung cấp tiếp theo (dự phòng); bạn chỉ nhận lỗi khi không nhà cung cấp nào trả lời được.
4. Phản hồi cho bạn biết ai đã trả lời: trường model chứa mô hình đã phục vụ yêu cầu.

Chỉ định một mô hình

Gửi một mã mô hình (ví dụ deepseek-v4-flash) để dùng mô hình đó. Valefront gửi yêu cầu đến một nhà cung cấp phục vụ mô hình này, và chuyển sang một nhà cung cấp khác phục vụ cùng mô hình khi một nhà cung cấp gặp lỗi. Dùng auto-vision để định tuyến giữa các mô hình đọc được hình ảnh.

Mỗi yêu cầu được tính phí theo giá công bố của mô hình đã trả lời, không cộng thêm phí; xem mô hình và bảng giá.