ARTICLE DETAIL
上下文窗口涨了120倍,英伟达研究员却说这是死路
聚焦关键信息、背景脉络与核心观点,让一篇内容不仅便于阅读,也更容易形成完整理解。
上下文窗口涨了120倍,英伟达研究员却说这是死路
劲爆体育直播-足球篮球赛事与比分
439 阅读
约 5.5 分钟
语言模型现在能一口气读完一整本小说。英伟达的一个研究团队认为,这往往是杀鸡用牛刀,而且很贵。 先解释一下上下文窗口是什么。它是模型的工作记忆,覆盖生成回复时它能"看见"的全部内容。过去几年,这个窗口膨胀得很快。 GPT-4 在2023年3月发布时是 8,192 个token。如今 GPT 5.6 Sol 能处理约 100万 个token,约为前者的 120倍 ,足够装下托尔斯泰的《战争与和平》。 但英伟达研究团队的观点是:窗口大不等于好用。在多项测试中,定期摘要加上定向查找,效果和塞满整个窗口差不多。 对天天和模型打交道的打工人来说,这个结论有点扎心。大家默认的升级路径是"上下文越长越强",可如果摘要加检索就能达到相近效果,那把整本书硬塞进去,付出的成本换回来的可能只是心理安慰。 窗口该开多大,或许得看任务,而不是看参数表上的数字。 特别