"Ketika mereka memanfaatkan semua infrastruktur yang telah mereka bangun untuk membangun model (bahasa alami) yang tidak dapat kami tiru dengan mudah, saya mulai menganggapnya lebih serius," tulis Scott.
Scott lebih lanjut mengatakan, saat dia berusaha memahami di mana letak kesenjangan kemampuan antara Google dan Microsoft dalam pelatihan model, di situlah Scott menjadi sangat khawatir.
Scott menceritakan bagaimana Microsoft berjuang meniru BERT-Large Google, model AI yang menguraikan arti dan konteks kata dalam sebuah kalimat. Dia menyalahkan lompatan infrastruktur yang telah dilakukan pesainnya, dan Microsoft tidak melakukannya.
“Ternyata, mereplikasi BERT secara besar-besaran tidaklah mudah bagi kami. Meskipun kami memiliki template untuk model tersebut, kami membutuhkan waktu ~6 bulan untuk melatih model tersebut karena infrastruktur kami tidak mampu melakukan tugas tersebut,” tulis CTO Microsoft.
Google memiliki BERT setidaknya enam bulan sebelumnya, kata CTO Microsoft, jadi mereka melatih model parameter 340 juta, Google memiliki waktu satu tahun untuk memikirkan cara memasukkannya ke dalam produksi dan melanjutkannya ke skala yang lebih besar, model yang lebih menarik.