Roblox dimulai membangun model bahasa besar (LLM) berbasis transformator, yang dilatih pada data internal dan tersedia untuk umum. Ini menempatkan LLM dalam arsitektur campiran para ahli (MoE), lingkungan yang menjalankan beberapa aplikasi terjemahan, dengan masing-masing aplikasi ahli dalam satu bahasa.
Hal ini memungkinkan Roblox menghemat sumber daya tanpa perlu membuat LLM terpisah untuk setiap bahasa. Sturman mengatakan mengingat skala proyek mereka, timnya percaya lebih mudah untuk membangun model mereka sendiri daripada memodifikasi LLM yang sudah ada.
Sturman menyebut Roblox memonitor obrolan dan bisa mendapatkan umpan balik jika terjemahannya tidak sempurna. Namun dia menegaskan privasi dan keamanan tetap terjaga, serta kata-kata kasar akan diblokir.