GPT-4是8x2200亿参数的混合模型?这个小道消息今天传疯了 时讯
机器之心报道
【资料图】
编辑:吴昕
George Hotz:除了苹果之外,大部分公司保密的原因都不是在隐藏什么黑科技,而是在隐藏一些「不那么酷」的东西。
「GPT-4 的参数量高达 100 万亿。」相信很多人还记得这个年初刷屏的「重磅」消息和一张被病毒式传播的图表。
不过很快,OpenAI 的 CEO Sam Altman 就出来辟谣,证实这是一条假消息,并表示,「关于 GPT-4 的谣言都很荒谬。我甚至不知道这从何而起。」
实际上,许多人相信并传播这样的谣言是因为近年来 AI 社区不断在增加 AI 模型的参数规模。谷歌在 2021 年 1 月发布的 Switch Transformer 就把 AI 大模型参数量拉高到了 1.6 万亿。在此之后,很多机构也陆续推出了自己的万亿参数大模型。据此,人们有充分的理由相信,GPT-4 将是一个万亿参数的巨量模型,100 万亿参数也不是不可能。
虽然 Sam Altman 的辟谣帮我们去掉了一个错误答案,但他背后的 OpenAI 团队一直对 GPT-4 的真实参数量守口如瓶,就连 GPT-4 的官方技术报告也没透露任何信息。
直到最近,这个谜团疑似被「天才黑客」乔治・霍兹(George Hotz)捅破了。
乔治・霍兹因 17 岁破解 iPhone、21 岁攻陷索尼 PS3 而闻名,目前是一家研发自动驾驶辅助系统的公司(comma.ai)的老板。
最近,他接受了一家名为 Latent Space 的 AI 技术播客的采访。在采访中,他谈到了 GPT-4,称 GPT-4 其实是一个混合模型。具体来说,它采用了由 8 个专家模型组成的集成系统,每个专家模型都有 2200 亿个参数(比 GPT-3 的 1750 亿参数量略多一些),并且这些模型经过了针对不同数据和任务分布的训练。
在这段播客播出之后,PyTorch 创建者 Soumith Chintala 表示自己似乎听过同样的「传闻」,很多人可能也听过,但只有 George Hotz 在公开场合将其说了出来。
「混合模型是你在无计可施的时候才会考虑的选项,」George Hotz 调侃说,「混合模型的出现是因为无法让模型的参数规模超过 2200 亿。他们希望模型变得更好,但如果仅仅是训练时间更长,效果已经递减。因此,他们采用了八个专家模型来提高性能。」至于这个混合模型是以什么形式工作的,George Hotz 并没有详细说明。
为什么 OpenAI 对此讳莫如深呢?George Hotz 认为,除了苹果之外,大部分公司保密的原因都不是在隐藏什么黑科技,而是在隐藏一些「不那么酷」的东西,不想让别人知道「只要花 8 倍的钱你也能得到这个模型」。
对于未来的趋势,他认为,人们会训练规模较小的模型,并通过长时间的微调和发现各种技巧来提升性能。他提到,与过去相比,训练效果已经明显提升,尽管计算资源没有变化,这表明训练方法的改进起到了很大作用。
目前,George Hotz 关于 GPT-4 的「爆料」已经在推特上得到了广泛传播。
有人从中得到了灵感,声称要训练一个 LLaMA 集合来对抗 GPT-4。
还有人说,如果真的像 George Hotz 说的那样,GPT-4 是一个由 8 个 2200 亿参数的专家模型组合的混合模型,那很难想象背后的推理成本有多高。
需要指出的是,由于 George Hotz 并未提及消息来源,我们目前无法判断以上论断是否正确。有更多线索的读者欢迎在评论区留言。
关键词:
您可能也感兴趣:
为您推荐
私募大V隔空“互怼” AI板块行情能否持续?
已有25名球员收到小绿屋邀请:基根-穆雷的双胞胎哥哥选择拒绝 焦点报道
九泉之岛动漫樱花动漫(推荐幻人异种奇谭九泉之岛类似的漫画)
排行
最近更新
- GPT-4是8x2200亿参数的混合模型?这个小道消息今天传疯了 时讯
- 省级党委专职副书记一览:18个省份共有20位,13个省份暂空缺...
- Mac Pro拆解:不支持扩展内存、M2 Ultra 配大主板、大风扇
- 全球视讯!北京协和医院白明做的双眼皮好吗?擅长项目及收费报...
- 八大处吸脂贵吗?价格表和医生名单查收!|当前滚动
- 环球速讯:广西壮族自治区凤山县发布暴雨橙色预警
- “敬大朋友的热爱”大朋玩家体验会完美收官!_当前热文
- 【全球新视野】强观察丨这个实施方案重在破解人才培养和产业...
- 比亚迪股份(01211)获股东吕向阳解除质押345万股
- 全球今日报丨德勤研究显示医药健康类高潜初创企业逐年增加
- 世界热推荐:归来仍是少年 聊聊回归的皇冠还有多少含金量?
- 全球快看:2024年开始,这些新能源车需要缴纳车辆购置税!
- 宝能造车梦归何处 汽车拍卖、产品跳票 全球速看料
- 简单可爱儿童小服装折纸方法(儿童简单折纸衣服) 全球热头条
- 动态:黑翼之巢开门任务攻略 黑翼之巢开门任务攻略图文
- 粤港澳大湾区车展新能源车盘点,腾势N7、小鹏G6等
- 【独家】智己LS7辅助驾驶 挑战上海高架晚高峰
- 【全球热闻】俄罗斯一火药厂爆炸致5人死亡11人受伤,当地官员...
- 视焦点讯!团代表故事丨95后赵梦:青年要拜群众为师,把群众...
- 环球今热点:34岁男演员突发离世!警惕这种病
- 被举报与他人有不正当关系的气象局局长发声:无稽之谈,身正...
- 上海中谷物流股份有限公司及下属公司获得政府补助2.79亿元
- 全球观热点:吉林黑土地劲吹青春风 年轻“米二代”让种田更...
- 告别混油皮肤质!推荐三款自用高分男士混油皮水乳
- 《都市女性睡眠与肌肤健康》研究正式开启_热头条
- 开封市开发区消防救援大队 开展第22个“安全生产月”宣传活动
- 乘联会:6月1-18日新能源车市场零售32万辆 同比增长1%|每日看点
- 每人1500元!广州职工学历教育补助申领开启
- 湖北荆门掇刀区打造教育营商环境升级版
- 全球动态:民生银行重庆分行被罚近6000万,2名责任人被禁业10年