2025年6月30日,华为高调公布开源其盘古大模子核心组件(Pangu Pro MoE),包罗70亿参数浓密 模子和720亿参数的混合专家模子,宣称这是构建昇腾生态的症结 举措。然而仅隔四天,一项发布于GitHub的研究 引发 业界存眷 :
2025年6月30日,华为高调公布开源其盘古大模子核心组件(Pangu Pro MoE),包罗70亿参数浓密 模子和720亿参数的混合专家模子,宣称这是构建昇腾生态的症结 举措。 然而仅隔四天,一项发布于GitHub的研究 引发 业界存眷 :用户@HonestAGI 经由过程 “LLM指纹”技能剖析 指出,盘古Pro MoE与阿里通义千问Qwen-2.5 14B模子的注意力参数散布 类似 性高达0.927(1.0为完整 一致),远超业内0.7以下的正常差异规模 。 ![]() 华为诺亚方舟实验室声明截图 华为诺亚方舟实验室7月5日发布最新声明,表现盘古 Pro MoE 开源模子是基于昇腾硬件平台开辟、训练的根本大模子,并非基于其他厂商模子增量训练而来。 盘古团队表现,“盘古 Pro MoE 开源模子部门根本组件的代码实现参考了业界开源实践,涉及其他开源大模子的部门开源代码。我们严酷遵循开源许可证的要求,在开源代码文件中清晰标注开源代码的版权声明。这不仅是开源社区的通行做法,也相符 业界倡导的开源协作精力。” 然而,就在7月6日凌晨,一位自称是盘古大模子团队的员工自曝,确切 存在套壳、续训、洗水印的征象。 ![]() 爆料文章截图 该员工表现,因为 团队初期算力非常有限,虽做出了很多努力和挣扎,但没有预期结果,内部的质疑声和领导的压力也越来越大。其后 小模子实验室多次套壳竞品,领导层被指默许造假举动换取短期结果。 自曝文中称:“经过内部的剖析 ,他们实际上是利用Qwen 1.5 110B续训而来,经由过程 加层,扩增ffn维度,添加盘古pi论文的一些机制得来,凑够了也许 135B的参数。”并表现,“听同事说他们为了洗掉 落 千问的水印,采取了不少方法 ,甚至包罗有意 训了脏数据。”“他们选择了套壳DeepSeekv3续训。他们经由过程 冻住DeepSeek加载的参数,举行训练。” 最后他表现出于对技能伦理的坚持,决议 去职并曝光黑幕。 截至现在,华为并未对此自曝内容发表声明。 来源:新黄河客户端、新浪科技、诺亚方舟实验室、云头条 值班编纂
:周章云 |
2025-05-03
2025-03-05
2025-03-05
2025-02-26
2025-04-06