AI快讯网12月14日消息，在2024年NeurIPS大会上，前OpenAI联合创始人、SSI创始人Ilya Sutskever表示：预训练时代即将终结（Pre-training as we know it will end）。“将数据比作AI发展的燃料，由于我们只有一个互联网，数据增长已经触顶，AI即将进入‘后石油时代’，而这，意味着依赖于海量数据的预训练模型将难以为继，AI发展亟待新的突破。”Ilya认为，未来AI发展将聚焦于智能体、合成数据和推理时计算（Agents、Synthetic data和Inference-time compute）。
小钛注：推理时计算，即Inference-time compute，是相对于训练时计算（pre-training compute）而言的，另一种增强LLM逻辑推理能力的策略。