首页 > 市场 > > 内容页

AI专家:大模型同质化严重,面临十大科学挑战

发表时间:2023-08-26 18:37:26 来源:第一财经

今年2月,复旦大学邱锡鹏团队发布MOSS,成为国内首个发布的类ChatGPT模型,而从ChatGPT诞生至今已过去9个多月,大模型又面临哪些挑战?


(资料图片)

在24日下午上海市科协举办的青年科学家论坛上,复旦大学MOSS系统负责人邱锡鹏表示,大语言模型是当前自然语言处理的主流范式,它可以涌现出丰富的知识和能力,但也带来了一些挑战和问题。在他看来,大语言模型的研究需要多方面的合作和创新,需要开放和共享的技术平台和评测标准。

呼吁业界开放共享技术

“大模型确实给我们的研究带来非常多的问题,一方面是同质化非常严重,另外就是赛道拥挤,大家原来把各切一块的研究范式都往一个赛道挤。还有就是评价困难。”

邱锡鹏解释,现在大家做的东西总体上比较雷同,比如说像预训练,虽然有创新性的东西但总体不多,目前的“千模大战”在创新性上并没有多少差异。而在评价方面,大家都说自己做得好,但又没有好的比较方法。因为对大模型、生成式人工智能的客观评价方法并不是特别有效,导致每个人都要自己建一套评价标准,这就没有一个比较方法,从而给整个研究带来一定的困难。

“现在很多人认为大模型变成工程性问题了,是不是还有科学价值?”在他看来,ChatGPT发布至今已经过去9个多月了,大家都感觉好像很明白它了,事实上很多观念的地方还是不明白。目前业界对整个技术路线是有一些掌握,这离不开学术界一直在发论文探讨。邱锡鹏说,现在有做大模型的团队只宣布做出来的效果,并未公开究竟是怎么做的,但大模型的研究只有保证技术的公开度才能使大家都参与进来,让技术持续不断往前迭代。“当然这涉及到很多算力问题和能耗问题,希望可以有更好的优化方法,使大模型普惠化,使所有人降低门槛,所有人都参与进来进行研究。”

十大科学挑战

谈到大语言模型面临的挑战和问题,邱锡鹏总结了包括模型架构、幻觉、多模态的延展、知识来源、自动化评价、平民化等十个科学挑战。

他说,大模型之所以称为大模型,是因为可以涌现出丰富的知识和能力。目前大家熟知的Transformer架构非常强大,但缺点也明显,当文章长度变得更长得时候,它的复杂度就变得非常高,因此也限制了模型的进一步扩大。“我们要找到一种可能比Transformer更有效的架构,才能支持未来模型的进一步扩大。”

邱锡鹏还特别强调了大模型的平民化问题,因为平民化能让资源不多的研究者也能使用大模型。

他认为,大模型总的来讲不仅仅是工程问题,从迭代周期来看的话,大家需要的算力比较多的是预训练阶段,这个阶段也有很多东西可以做。但是如果往后看,包括像对齐、优化、指令微调等方面需要的算力没有想象中那么大。“随着将来大模型普惠化、平民化的工作,大家在3090显卡上就可以开展关于大模型的研究。我总体上会觉得大模型的研究,不管是学术界还是工业界的科研单位,里面都有很多科学问题,还是值得关注的,这不仅仅是一个简单的工程问题。”

关于MOSS的下一步计划,邱锡鹏透露,后面会追求一些创新性,在一些新架构上做一些探索,比如不断加强像推理、代码这些能力。

最近更新