斯坦福CS25课程更新：Google DeepMind与OpenAI专家探讨Transformer技术

机器之心报道

机器之心编辑部

在斯坦福，有一门专门讲 的课程，名叫 CS 25。这门课曾经邀请过 、 以及 的 Hyung Won Chung、Jason Wei 等一线大模型研究科学家担任讲师，在 AI 社区引起广泛关注。

最近，这门课又上新了。这一春季学期课程名为「CS25: V5」，邀请了 推理团队创立者和现任负责人 Denny Zhou、 项目负责人 、 研究科学家 Ren（任泓宇）、Meta 视频生成团队研究科学家 Brown 等知名研究者，深入探讨 AI 领域的最新突破。

而且，这门课是完全开放的，任何人都可以现场旁听或加入 Zoon 直播，无需注册或与斯坦福大学建立关联。

课程结束后，他们还会把课程的视频上传到官方 账号。目前，新学期视频第一期已经上传。

整个学期的课程表如下：

想要听直播的同学记得在太平洋夏令时间每周二下午 3:00 - 4:20（北京时间每周三上午 6:00 - 7:20）蹲守，具体信息请参考官方网站。

往期热门课程

V2： —— Part-Whole in a

AI 领域传奇人物 （「深度学习教父」）分享了他对神经网络中部分-整体层次结构的最新研究，提出了 GLOM 模型，旨在模拟人类视觉系统处理复杂场景的能力。

讲座探讨了 GLOM 如何通过动态解析树结构增强 在视觉任务中的表现，解决自注意力机制的计算效率瓶颈。 结合深度学习的演变历程，从感知机到 RNN 再到 ，展望了神经网络在模拟认知过程和提升视觉理解中的未来潜力。

V2： —— to

（前 Tesla AI 总监、 研究员）系统介绍了 架构的原理与影响。他从 2017 年《 is All You Need》论文出发，拆解了自注意力机制（Self-）、多头注意力（Multi-Head ）及 在大型语言模型（如 ）中的核心作用。

讲座还探讨了 （ViT）等跨领域应用，并展望了模型高效化和多模态学习的未来。 结合自身从斯坦福学生到业界先锋的经历，回顾了深度学习从 RNN 到 的演变。

V3：Douwe Kiela——

Douwe Kiela（ AI 首席执行官兼斯坦福符号系统客座教授）深入探讨了检索增强生成（- , RAG）作为解决大型语言模型（LLM）局限性的关键技术。讲座介绍了 RAG 的基本概念，即通过外部检索器提供上下文信息，缓解幻觉（）、信息时效性和定制化问题。

Kiela 回顾了语言模型的历史，追溯至 1991 年的神经语言模型，澄清了 并非首创的误解，并调研了 RAG 的最新进展，如 Realm、Atlas 和 Retro 架构，分析其优劣。他还探讨了 RAG 与长上下文模型的效率对比、指令微调（ ）的重要性以及未来的研究方向，如多模态 RAG 和预训练优化。

V4：Jason Wei & Hyung Won Chung of

研究科学家 Jason Wei 和 Hyung Won Chung 分享了关于大型语言模型（LLM）和 架构的洞见。

Jason Wei 探讨了语言模型的直观理解，强调下一词预测作为大规模多任务学习的本质，并分析了扩展律（ laws）与个体任务的涌现能力。Hyung Won Chung 则从历史视角审视 架构的演变，聚焦计算成本指数下降的驱动作用，提出通过连接过去与现在预测 AI 未来的统一视角。

两位讲者结合在 的工作经验（如 FLAN-T5、Codex），展望了 在多模态和通用 AI 中的潜力。

© THE END