Halusinasi AI tersebut sangat bermasalah dalam domain, khususnya yang memerlukan langkah penalaran multi-step. Karena, satu kesalahan logis saja, sudah cukup untuk menggagalkan solusi yang jauh lebih besar.
Perusahaan yang didukung oleh Microsoft tersebut mengatakan, bahwa mengurangi halusinasi merupakan langkah penting untuk membangun kecerdasan buatan (AGI) yang selaras, sebuah mesin yang bisa memahami atau mempelajari tugas-tugas intelektual seperti manusia.
"Kami telah melatih model untuk mencapai state-of-the-art baru dalam pemecahan masalah matematika dengan memberi penghargaan pada setiap langkah penalaran yang benar, alih-alih hanya memberi penghargaan pada jawaban akhir yang benar," jelas perusahaan tersebut dalam penelitian yang diterbitkan pada minggu ini.
Sederhananya, OpenAI ingin melatih model AI untuk menghargai diri mereka sendiri, tentang setiap langkah penalaran yang benar, dan bukan hanya untuk jawaban yang benar.
OpenAI juga mengatakan, bahwa model tersebut meningkatkan kinerja dan secara langsung melatih model tersebut untuk menghasilkan rangkaian pikiran yang didukung oleh manusia. Itu berarti, pengawasan mendorong model untuk mengikuti proses yang disetujui manusia.
"Kami dapat melatih model hadiah untuk mendeteksi halusinasi menggunakan pengawasan hasil yang memberikan umpan balik berdasarkan hasil akhir, atau pengawasan proses yang memberikan feedback untuk setiap langkah individu dalam rangkaian pemikiran," jelas peneliti OpenAI.
Sebagai informasi, OpenAI sendiri sudah merilis dataset yang menyertai 800.000 label manusia yang digunakan untuk melatih model yang disebutkan dalam makalah penelitian. Sementara itu, menurut Karl Cobbe, peneliti matematika di OpenAI, tim peneliti juga mengatakan bahwa model hadiah yang diawasi proses berkinerja, lebih baik secara keseluruhan.