Định tuyến theo mục đích
Ghép mỗi câu lệnh với mô hình xử lý tốt nhất độ phức tạp, ngữ cảnh và định dạng của nó. Đặt quy tắc một lần, điều chỉnh khi nhu cầu thay đổi.
Valefront là bộ định tuyến LLM: một API tương thích OpenAI, chuyển mỗi yêu cầu đến mô hình phù hợp giữa nhiều nhà cung cấp theo tác vụ, chất lượng, chi phí và độ trễ, kèm dự phòng tự động. Valefront cũng tương thích Anthropic: chỉ cần trỏ SDK bạn đang dùng tới https://llm.valefront.com.
{ "model": "auto",
"messages": [{ "role": "user", "content": "Summarize this call" }] }Không cần cố định mô hình trong mã nguồn. Valefront hiểu mỗi yêu cầu cần gì và định tuyến nó với sự cân bằng phù hợp giữa chất lượng, tốc độ và chi phí.
Ghép mỗi câu lệnh với mô hình xử lý tốt nhất độ phức tạp, ngữ cảnh và định dạng của nó. Đặt quy tắc một lần, điều chỉnh khi nhu cầu thay đổi.
Chọn mô hình rẻ nhất vẫn đạt chuẩn chất lượng của bạn. Dành mô hình cao cấp cho những lúc thật sự cần.
Dự phòng tự động giúp sản phẩm của bạn luôn phản hồi khi một nhà cung cấp chậm lại hoặc một điểm cuối ngừng hoạt động.
Giữ nguyên API bạn đã quen. Trỏ ứng dụng tới Valefront để chuyển đổi, so sánh hoặc kết hợp nhà cung cấp mà không phải viết lại phần tích hợp.
Xem hướng dẫn nhanh# OpenAI-compatible curl https://llm.valefront.com/v1/chat/completions \ -H 'Authorization: Bearer $VALEFRONT_KEY' \ -H 'Content-Type: application/json' \ -d '{"model":"auto","messages":[{"role":"user","content":"Hello"}]}' # Anthropic (Messages) curl https://llm.valefront.com/v1/messages \ -H 'x-api-key: $VALEFRONT_KEY' \ -H 'anthropic-version: 2023-06-01' \ -H 'Content-Type: application/json' \ -d '{"model":"seed-2-0-lite-260428","max_tokens":64,"messages":[{"role":"user","content":"Hello"}]}' const ai = new OpenAI({ baseURL: 'https://llm.valefront.com/v1', apiKey: process.env.VALEFRONT_KEY, }); const answer = await ai.chat.completions.create({ model: 'auto', // Valefront picks the right fit messages: [{ role: 'user', content: prompt }], });
Valefront là bộ định tuyến LLM, cung cấp một API tương thích OpenAI để gửi yêu cầu tới mô hình phù hợp giữa nhiều nhà cung cấp.
Bộ định tuyến xét tác vụ, yêu cầu chất lượng, chi phí và độ trễ của yêu cầu, rồi chọn mô hình phù hợp và có thể tự động dự phòng.
Valefront định tuyến giữa các nhà cung cấp mà dịch vụ đã tích hợp; tình trạng hiện tại của từng nhà cung cấp hiển thị trên bảng điều khiển.
Có. Valefront cung cấp API tương thích OpenAI, nên các ứng dụng tương thích chỉ cần dùng một điểm cuối.
Có. Valefront tương thích cả OpenAI và Anthropic: trỏ SDK nào cũng được tới https://llm.valefront.com.
Đăng ký trên bảng điều khiển Valefront, rồi trỏ ứng dụng của bạn tới địa chỉ API của Valefront.
Dùng bao nhiêu trả bấy nhiêu, không cộng thêm phí: bạn trả đúng giá chính thức của từng nhà cung cấp theo token. Tài khoản mới được tặng token miễn phí. Giá từng mô hình hiển thị trên bảng điều khiển.
Tạo tài khoản miễn phí và nhận 1.000.000 token miễn phí, thêm 4.000.000 token sau lần nạp tiền đầu tiên, dùng trong 30 ngày. Sau đó trả đúng giá chính thức của từng nhà cung cấp, không cộng thêm phí.
from openai import OpenAI
client = OpenAI(
base_url="https://llm.valefront.com/v1",
api_key="vf_...",
)
reply = client.chat.completions.create(
model="auto",
messages=[{"role": "user", "content": "Hello"}],
)