“Hal yang menarik adalah Pre-trained Generative Large Language Model dibangun secara unsupervised. Jadi ChatGPT itu mengumpulkan semua data dokumen di internet, termasuk source code digabungkan tanpa diberikan label. Semua data dimasukkan ke dalam algoritma deep learning GPT,” tutur dia.
Dr Ayu mengatakan, ChatGPT menggunakan teknik generative yang dibangun dari data triliunan kalimat. Kemudian dimasukkan ke dalam deep learning.
Ketika memberikan input pertanyaan, ChatGPT akan memberikan jawaban sebenarnya hasil karangan yang di-generate per kata.
Namun karena sumber data yang sangat banyak sehingga karangannya pun sebagian besar benar.
Ketika kalimat dari data yang sangat banyak itu masuk kedalam algoritma deep learning, ChatGPT sama sekali tidak menyimpan pengetahuan.