Evaluasi Performa Prompting Adaptif pada LLM sebagai Agen AI untuk Rekomendasi Berita Generatif Bahasa Indonesia

Di era disruptive technology, peningkatan engagement rate pembaca telah menjadi faktor kunci bagi industri media online di Indonesia, karena berdampak langsung pada pendapatan iklan. Untuk menjawab tantangan ini, AI generatif muncul sebagai teknologi kunci yang mampu menghadirkan pengalaman membaca yang lebih personal, relevan, dan adaptif. Penelitian ini memperkenalkan prototipe sistem rekomendasi berita berbasis AI Agent, yang dirancang untuk memberikan pengalaman membaca yang adaptif dan berkelanjutan. Sistem ini mengintegrasikan berbagai komponen, termasuk memori jangka pendek dan jangka panjang, asosiasi, similarity, serta mekanisme generatif berbasis Large Language Model (LLM) sebagai inti utama agen. Sistem dievaluasi menggunakan dua pendekatan prompting: prompting statik, yang mempertahankan prompt rekomendasi tetap, dan prompting adaptif, di mana rekomendasi generatif yang diklik pengguna secara dinamis memperbarui prompt yang diberikan ke LLM. Evaluasi dilakukan melalui enam metrik berbasis kuesioner dari 49 responden: diversity, novelty, serendipity, curiosity, filter bubble, dan context coherence. Enam model LLM open weight dari platform Ollama diuji, terbagi menjadi LLM besar (>100B parameter) dan LLM kecil (<20B parameter). Hasil eksperimen menunjukkan bahwa prompting adaptif secara konsisten meningkatkan koherensi kontekstual dan rasa ingin tahu (curiosity) pembaca. LLM besar menghasilkan skor tertinggi pada hampir semua metrik, terutama serendipity dan curiosity, menegaskan potensinya dalam menghadirkan pengalaman membaca yang adaptif dan berkelanjutan, sekaligus meningkatkan engagement rate pembaca terhadap media. Hasil ini memberikan kontribusi penting bagi pengembangan agen AI dalam sistem rekomendasi berita, membuka arah baru untuk penciptaan sistem yang lebih adaptif, kontekstual, dan mampu menghadirkan interaksi membaca yang lebih personal bagi pengguna.