_edited.png)
Agen Generatif adalah istilah yang diciptakan oleh peneliti dari Stanford University dan Google dalam paper mereka yang berjudul Generative Agents: Interactive Simulacra of Human Behavior (Park et al., 2023). Dalam paper ini, peneliti menjelaskan bahwa Agen Generatif adalah computational software yang dapat mensimulasikan perilaku manusia secara meyakinkan.
Dalam paper tersebut, mereka memperkenalkan bagaimana agen dapat bertindak seperti yang dilakukan manusia: menulis, memasak, berbicara, memilih, tidur, dan lain sebagainya. Hal ini dilakukan dengan menerapkan model generatif, terutama Large Language Model (LLM). Dengan memanfaatkan model natural language, agen-agen tersebut dapat menunjukkan kemampuan untuk menarik kesimpulan tentang diri mereka sendiri, agen lain, dan lingkungan mereka.
Peneliti membangun arsitektur sistem untuk menyimpan, mensintesis, dan menerapkan memori yang relevan untuk menghasilkan perilaku yang dapat dipercaya menggunakan large language model, sehingga memungkinkan agen generatif. Sistem ini terdiri dari tiga komponen, yaitu:
Memory stream. Sistem ini merekam pengalaman agen dan menjadi referensi untuk tindakan agen di masa depan.
Refleksi. Sistem mensintesis pengalaman menjadi memori agar agen dapat belajar dan tampil lebih baik.
Perencanaan. Sistem menerjemahkan wawasan dari sistem sebelumnya menjadi rencana tindakan tingkat tinggi dan memungkinkan agen bereaksi terhadap lingkungan.
Sistem refleksi dan perencanaan ini bekerja secara sinergis dengan memory stream untuk mempengaruhi perilaku agen di masa depan.
Untuk mensimulasikan sistem di atas, para peneliti fokus pada pembuatan interactive society agen yang terinspirasi dari game Sims. Arsitektur di atas terhubung dengan ChatGPT dan berhasil menunjukkan 25 interaksi agen dalam sandbox mereka. Contoh aktivitas agen ditunjukkan pada gambar di bawah ini.
Seluruh kode untuk membuat Agen Generatif dan mensimulasikannya di sandbox telah dibuat open-source oleh para peneliti, yang dapat Anda temukan di repositori berikut. Petunjuknya cukup sederhana sehingga Anda dapat mengikutinya tanpa banyak masalah.
Dengan semakin berkembangnya bidang Agen Generatif, banyak penelitian menarik yang bermunculan. Artikel ini akan membahas beberapa paper penelitian tentang Agen Generatif yang sebaiknya Anda baca. Apa saja itu? Mari kita simak bersama.
1. Agen Komunikatif untuk Software Development
Paper Communicative Agents for Software Development (Quan et al., 2023) adalah pendekatan baru untuk merevolusi software development menggunakan Agen Generatif. Premis yang diajukan oleh para peneliti adalah bagaimana seluruh proses software development dapat disederhanakan dan disatukan menggunakan komunikasi natural language dari Large Language Models (LLM). Tugas-tugas tersebut meliputi pengembangan kode, pembuatan dokumen, analisis persyaratan, dan lain sebagainya.
Para peneliti menunjukkan bahwa menghasilkan seluruh software menggunakan LLM memiliki dua tantangan utama: halusinasi dan kurangnya pemeriksaan silang (cross-examination) dalam pengambilan keputusan. Untuk mengatasi masalah ini, para peneliti mengusulkan framework software development berbasis chat yang disebut ChatDev.
Framework ChatDev mengikuti empat fase: mendesain, coding, pengujian, dan
mendokumentasikan.
Dalam setiap fase, ChatDev akan membentuk beberapa agen dengan berbagai role, misalnya, code reviewers, software programmers, dan lain-lain. Untuk memastikan komunikasi antara agen berjalan lancar, para peneliti mengembangkan rantai chat yang membagi fase menjadi subtugas atomik berurutan. Setiap subtugas akan menerapkan kolaborasi dan interaksi antara agen.
Framework kerja ChatDev ditunjukkan pada gambar di bawah ini.
Para peneliti melakukan berbagai eksperimen untuk mengukur bagaimana performa framework ChatDev dalam software development. Dengan menggunakan gpt3.5-turbo-16k, berikut adalah perfroma eksperimen statistik software.
Angka di atas adalah metrik analisis statistik mengenai sistem software yang dihasilkan oleh ChatDev. Misalnya, 39 baris kode dihasilkan pada tingkat minimum, dengan pada tingkat maksimum menghasilkan 359 kode. Para peneliti juga menunjukkan bahwa 86,66% dari sistem software yang dihasilkan berfungsi dengan baik.
Ini adalah paper yang hebat yang menunjukkan potensi untuk mengubah cara kerja developer. Baca paper ini lebih lanjut untuk memahami implementasi penuh dari ChatDev. Kode lengkap juga tersedia di repositori ChatDev.
2. AgentVerse: Memfasilitasi Kolaborasi Multi-Agen dan Mengeksplorasi Perilaku yang Muncul dalam Agen
AgentVerse adalah framework yang diusulkan dalam paper dari Chen et al., 2023 untuk mensimulasikan kelompok agen melalui Large Language Model untuk prosedur pemecahan masalah dinamis dalam kelompok dan penyesuaian anggota kelompok berdasarkan progres. Penelitian ini ada untuk menyelesaikan tantangan dinamika kelompok statis di mana agen otonom tidak dapat beradaptasi dan berkembang dalam memecahkan masalah.
Framework AgentVerse mencoba membagi framework menjadi empat langkah, yaitu:
Rekrutmen Ahli: Fase penyesuaian untuk agen agar sesuai dengan masalah dan solusi.
Pengambilan Keputusan Kolaboratif: Para agen berdiskusi untuk merumuskan solusi dan strategi untuk menyelesaikan masalah.
Eksekusi Tindakan: Para agen melaksanakan tindakan di lingkungan berdasarkan keputusan.
Evaluasi: Kondisi saat ini dan tujuan dievaluasi. Umpan balik akan kembali ke langkah pertama jika tujuan masih belum tercapai.
Struktur keseluruhan AgentVerse ditunjukkan pada gambar di bawah ini.
Para peneliti melakukan eksperimen dengan ramework dan membandingkan Framework AgentVerse dengan solusi agen individu. Hasilnya disajikan pada gambar di bawah ini.
Framework AgentVerse secara umum dapat mengungguli agen individu dalam semua tugas yang disajikan. Ini membuktikan bahwa agen generatif dapat memiliki performa lebih baik daripada agen individu dalam mencoba menyelesaikan masalah. Anda bisa mencoba framework ini melalui repositori mereka.
3. AgentSims: Sandbox Open-Source untuk Evaluasi Large Language Model
Evaluasi kemampuan LLM masih menjadi pertanyaan terbuka dalam berbagai komunitas dan bidang terkait. Ada tiga poin utama yang membatasi kemampuan untuk mengevaluasi LLM secara tepat, yaitu: keterbatasan kemampuan evaluasi berdasarkan tugas, tolok ukur yang rentan, dan metrik yang tidak objektif. Untuk menangani masalah ini, Lin et al., 2023 mengusulkan evaluasi berbasis tugas sebagai tolok ukur LLM dalam paper mereka.
Pendekatan ini diharapkan menjadi standar dalam mengevaluasi performa LLM karena dapat mengatasi semua masalah yang muncul. Untuk mencapai ini, para peneliti memperkenalkan framework yang disebut AgentSims.
AgentSims adalah program dengan infrastruktur interaktif dan visualisasi untuk kurasi tugas evaluasi bagi LLM. Tujuan keseluruhan dari AgentSims adalah untuk menyediakan platform bagi para peneliti dan ahli untuk menyederhanakan proses desain tugas dan menggunakannya sebagai alat evaluasi. Tampilan depan dari AgentSims disajikan pada gambar di bawah ini.
Karena target dari AgentSims adalah semua orang yang membutuhkan evaluasi LLM dengan cara yang lebih mudah, para peneliti mengembangkan front end di mana kita dapat berinteraksi dengan UI-nya. Anda juga dapat mencoba demo lengkap di situs website mereka atau mengakses kode lengkap di repositori AgentSims.
Kesimpulan
Agen Generatif adalah pendekatan terbaru dalam LLM untuk mensimulasikan perilaku manusia. Penelitian terbaru dari Park et al., 2023 telah menunjukkan kemungkinan besar tentang apa yang dapat dilakukan Agen Generatif. Itulah sebabnya muncul banyak penelitian berdasarkan Agen Generatif dan membuka banyak pintu baru.
Dalam artikel ini, kita telah membahas tiga penelitian Agen Generatif yang berbeda, termasuk:
Comentarios