Các nhà cung cấp LLM tính phí cho bạn theo mỗi mã thông báo, nhưng mã thông báo của họ không phải lúc nào cũng có thể so sánh được

"Các nhà cung cấp LLM tính phí cho bạn theo mỗi mã thông báo, nhưng mã thông báo của họ không phải lúc nào cũng có thể so sánh được. Vì vậy, nếu bạn đặt mã Python thông qua GPT-4 và Claude 3, bạn sẽ phải trả thêm 25% số mã thông báo để làm như vậy với Claude, do sự khác biệt về mã thông báo của họ (lưu ý: điều này khác với giá mỗi mã thông báo, điều đó chỉ có nghĩa là bạn sẽ có nhiều token hơn để thanh toán)

Một số quan sát:

• Mã thông báo GPT-4 & 3.5 của OpenAI là mã thông báo hiệu quả nhất cho tiếng Anh và Python

• Gemini đánh bại hoàn toàn sự cạnh tranh ở ba ngôn ngữ tôi đã thử nghiệm: tiếng Pháp (-11%), tiếng Trung (-43%) và tiếng Do Thái (-54%)

• Nếu trường hợp sử dụng của bạn không phải là tiếng Anh, bạn nên xem xét các mẫu của Gemini - sự khác biệt về chi phí có thể sẽ rất đáng chú ý

• Llama 2 xếp cuối trong tất cả các bài kiểm tra của tôi

• Mistral khá thất vọng về tiếng Pháp (+16% tệ hơn GPT), lý do tôi chọn tiếng Pháp là vì tôi cho rằng họ sẽ làm tốt hơn

Lưu ý về phương pháp:

• Nghiên cứu sẽ bị hạn chế, tôi chỉ so sánh 7 bit văn bản/mã riêng lẻ - vì vậy kết quả trong thực tế sẽ khác nhau

• Tôi đã sử dụng sân chơi tokeniser này (https://lnkd.in/ewud-8vf) cho GPT, Mistral và Llama. Tôi thấy nó không chính xác (hoặc cũ?) đối với Claude 3 và họ không có Gemini nên tôi đã làm những điều này một cách riêng biệt

• Mã thông báo chỉ là một phần của câu đố, mã thông báo hiệu quả hơn không nhất thiết có nghĩa là hiệu suất tốt hơn hoặc tổng chi phí thấp hơn"

TÁC GIẢ

Về ABN Asia: Ai Base Network (ABN), ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA