Kecepatan perubahan Ai. Sangat Menarik.

"""Pada tahun 2019, OpenAI mengumumkan GPT-2. Hari ini (~5 tahun kemudian) Anda dapat melatihnya sendiri dengan biaya ~$672, berjalan pada satu node GPU 8XH100 selama 24 jam.""

Biaya telah turun drastis selama 5 tahun terakhir karena peningkatan dalam perangkat keras komputasi (GPU H100), perangkat lunak (CUDA, cuBLAS, cuDNN, FlashAttention) dan kualitas data (misalnya kumpulan data FineWeb-Edu).

Karena llm.c adalah implementasi langsung dari pelatihan GPT di C/CUDA, persyaratannya minimal - tidak diperlukan lingkungan conda, interpreter Python, instalasi pip, dll.

Anda menjalankan node GPU cloud (misalnya di Lambda), secara opsional menginstal NVIDIA cuDNN, NCCL/MPI, mengunduh pecahan data .bin, mengompilasi dan menjalankannya, dan Anda melakukannya dalam hitungan menit.

Anda kemudian menunggu 24 jam dan menikmati contoh tentang Unicorn berbahasa Inggris di Andes."

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.