Biên giới tiếp theo sau các mô hình ngôn ngữ là các mô hình thế giới, và việc học cách dự đoán trạng thái tiếp theo của một thế giới. Nghe từ các nhà nghiên cứu của chúng tôi về cách mà những mô hình này thực sự hoạt động ở mức độ thấp và ngọn núi mà chúng tôi đang leo. Một trình mô phỏng thế giới đa năng (còn gọi là khoa học viễn tưởng) hiện đang trong tầm nhìn.