Tốc độ thay đổi của Ai. Hấp dẫn đến kinh ngạc.

Vào năm 2019, OpenAI đã công bố GPT-2. Ngày nay (~5 năm sau), bạn có thể tự huấn luyện mô hình của mình với chi phí khoảng 672 đô la, chạy trên một node GPU 8XH100 trong 24 giờ.

Chi phí đã giảm đáng kể trong 5 năm qua nhờ cải tiến phần cứng tính toán (GPU H100), phần mềm (CUDA, cuBLAS, cuDNN, FlashAttention) và chất lượng dữ liệu (ví dụ như bộ dữ liệu FineWeb-Edu).

Vì llm.c là một triển khai trực tiếp của việc huấn luyện GPT bằng C/CUDA, các yêu cầu rất tối thiểu - không cần môi trường conda, trình thông dịch Python, cài đặt pip, v.v.

Bạn chỉ cần khởi động một node GPU đám mây (ví dụ trên Lambda), tùy chọn cài đặt NVIDIA cuDNN, NCCL/MPI, tải xuống các mảnh dữ liệu .bin, biên dịch và chạy, và bạn sẽ bắt đầu trong vài phút.

Sau đó, chờ 24 giờ và tận hưởng các mẫu văn bản về những chú kỳ lân nói tiếng Anh ở Andes.

TÁC GIẢ

Về ABN Asia: AiUTOMATING PEOPLE, ABN Asia được thành lập từ năm 2012, là một công ty xuất phát từ học thuật, do những giảng viên, cựu du học sinh Hungary, Hà Lan, Nga, Đức, và Nhật Bản sáng lập. Chúng tôi chia sẻ đam mê chung và tầm nhìn vững chắc về công nghệ, mang đến sự đổi mới và chất lượng đỉnh cao cho khách hàng. Phương châm của chúng tôi là: Tốt hơn. Nhanh hơn. An toàn hơn. Trong nhiều trường hợp: Rẻ hơn.

Hãy liên hệ với chúng tôi khi Quý doanh nghiệp có các nhu cầu về dịch vụ công nghệ thông tin, tư vấn chuyển đổi số, tìm kiếm các giải pháp phần mềm phù hợp, hoặc nếu Quý doanh nghiệp có đấu thầu CNTT (RFP) để chúng tôi tham dự. Quý doanh nghiệp có thể liên hệ với chúng tôi qua địa chỉ email [email protected]. Chúng tôi sẵn lòng hỗ trợ với mọi nhu cầu công nghệ của Quý doanh nghiệp.

© ABN ASIA