LLama 3.1 - tại sao giá lại khác nhau gấp 9 lần?

Llama-3.1 405b đã ra mắt được khoảng một ngày và chúng tôi đã thấy sự khác biệt lớn về giá (đắt hơn gấp 9 lần so với trước đây) - từ 2,7 đô la mỗi triệu token, lên đến 14 đô la mỗi triệu token.

Lưu ý: Đây là bảng giá cập nhật để điều chỉnh giá IBM, trước đây hiển thị đầu vào là 35 đô la, nhưng thực tế là đầu vào là 5 đô la và đầu ra là 35 đô la.

Các công ty như Azure là thú vị nhất, vì họ là nhà cung cấp lớn nhất được liệt kê - không có giá cả mà tôi có thể tìm thấy cho AWS hoặc Google Vertex, vì vậy nếu Azure là tiêu chuẩn đúng để tham khảo, giá cả xấp xỉ tương đương với giá của GPT-4o.

Để tạo bối cảnh cho cuộc thảo luận, giá của một số mô hình độc quyền:

• GPT-4o: 5 đô la đầu vào / 15 triệu đầu ra

• GPT-4o-Mini: 0,15 đô la đầu vào / 0,6 đô la đầu ra

• Claude Sonnet 3.5: 3 đô la đầu vào / 15 đô la đầu ra

Để tính toán giá trung bình, tôi đã giả định tỷ lệ 80% đầu vào và 20% đầu ra.

Lưu ý rằng không phải tất cả các nhà cung cấp đều công khai việc họ có hạn chế mô hình theo cách nào không - ví dụ, đôi khi các nhà cung cấp có thể hạn chế chiều dài ngữ cảnh và thay vì 128k gốc, bạn có thể chỉ nhận được 32k. Có thể một số mô hình đã được lượng tử hóa, nhưng tôi chưa thấy điều này được nêu rõ. Điều này cũng không tính đến các giới hạn về tốc độ hoặc tốc độ xử lý - những yếu tố quan trọng khác.

TÁC GIẢ

Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA