Kerangka Orkestrasi LLM

Orang sering bertanya apakah mereka harus menggunakan LangChain atau LlamaIndex. Bagaimana dengan semuanya?

Kekuatan kerangka kerja tersebut tidak hanya terletak pada apa yang dapat mereka lakukan, tetapi juga pada apa yang dapat mereka ajarkan kepada kita!

Saya pernah sangat menikmati Langchain, terutama karena dokumentasinya yang terstruktur untuk mendidik pengguna tentang orkestrasi pipa LLM dan menunjukkan bagaimana mereka mendekati pembangunan solusi untuk menerapkan pipa tersebut. Sejauh ini, semua kerangka kerja yang ada memiliki pendekatan opiniatif sendiri untuk memberikan solusi atas kompleksitas orkestrasi pipa LLM.

Mendapatkan gambaran luas tentang kemampuan yang berbeda yang disediakan oleh kerangka kerja tersebut adalah pengalaman belajar yang sebenarnya dalam hal apa yang dimaksud dengan membangun aplikasi LLM, apa kesulitan yang biasanya terjadi, dan bagaimana mengatasi kesulitan tersebut.

Banyak tumpang tindih dalam kemampuan kerangka kerja yang berbeda, tetapi saya cenderung memisahkan mereka berdasarkan spesialisasi mereka:

Mikro-orkestrasi: Saya merujuk Mikro-orkestrasi sebagai koordinasi dan pengelolaan yang halus dari interaksi LLM individu dan proses terkait. Ini lebih tentang detail halus tentang bagaimana data mengalir ke dalam, melalui, dan keluar dari LLM dalam satu tugas atau sekelompok tugas terkait. Ini melibatkan hal-hal seperti:
Teknik pembuatan prompt
Pemrosesan input dan output pasca-pemrosesan
Pengelolaan parameter dan konfigurasi model spesifik
Penggabungan beberapa panggilan LLM dalam satu operasi logis
Integrasi alat atau API eksternal pada tingkat tugas spesifik

Contoh terbaik dari ini adalah LangChain, LlamaIndex, Haystack, dan AdalFlow.

Makro-orkestrasi: Ini lebih tentang desain tingkat tinggi, koordinasi, dan pengelolaan alur kerja kompleks yang mungkin mencakup beberapa interaksi LLM, serta komponen AI dan non-AI lainnya. Ini fokus pada struktur dan alur keseluruhan sistem atau aplikasi.

Ini adalah jenis sistem orkestrasi yang lebih baru, dan LangGraph, Haystack, LlamaIndex Workflows, dan Burr tampaknya memimpin pergerakan tersebut.

Kerangka Desain Agensi: Kerangka kerja ini fokus pada menciptakan dan mengelola agen AI otonom atau semi-otonom yang dapat melakukan tugas kompleks, sering melibatkan beberapa langkah, pengambilan keputusan, dan interaksi dengan agen atau sistem lain:

Sebagian besar kerangka kerja memiliki pendekatan mereka sendiri terhadap desain agensi, tetapi Autogen dan CrewAI cenderung memisahkan diri dengan memiliki sudut pandang unik terhadap masalah tersebut.

Kerangka Optimisasi: Kerangka kerja ini menggunakan pendekatan algoritmik, sering terinspirasi oleh teknik seperti backpropagation, untuk mengoptimalkan prompt, output, dan kinerja sistem secara keseluruhan dalam aplikasi LLM. Proses optimisasi biasanya dipandu oleh metrik kinerja atau tujuan spesifik.

Ini adalah kategori orkestrator yang lebih baru, dan telah dipimpin oleh kerangka kerja seperti DSPY dan TextGrad. Menurut pengetahuan saya, AdalFlow saat ini adalah kerangka kerja yang paling matang di domain ini.

Harap dicatat bahwa versi bahasa Indonesia didukung oleh AI dan karena itu mungkin terjadi kesalahan kecil.

Penulis

Ai Base Network (ABN), ABN ASIA didirikan oleh orang-orang dengan akar yang kuat di dunia akademis, dengan pengalaman kerja di Amerika Serikat, Belanda, Hungaria, Jepang, Korea Selatan, Singapura, dan Vietnam. ABN Asia adalah tempat di mana akademik dan teknologi bertemu dengan peluang. Dengan solusi terdepan kami dan layanan pengembangan perangkat lunak yang kompeten, kami membantu bisnis untuk meningkatkan level dan bersaing di panggung global. Komitmen kami: Lebih Cepat. Lebih Baik. Lebih handal. Dalam kebanyakan kasus: Lebih murah juga.

Jangan ragu untuk menghubungi kami jika Anda membutuhkan layanan IT, konsultasi digital, solusi perangkat lunak siap pakai, atau jika Anda ingin mengirimkan permintaan proposal (RFP). Anda dapat menghubungi kami di [email protected]. Kami siap membantu Anda dengan semua kebutuhan teknologi Anda.