被删除的Sam Altman谈话纪要,讲了什么?
SamAltman 的欧洲之行仍在进行中。前不久,在伦敦,他和 AI 公司 HumanLooop 的 CEO 进行了一次闭门讨论。HumanLoop 是一家帮助开发者在大语言模型上构建应用的公司。
HumanLoop 的 CEO Raza Habib 记录了这次谈话的要点,并公开在公司官网上。但随后在 OpenAI 的要求下,这份纪要被撤下。这反而增强了外界对这次谈话的好奇心。有人推测,是其中所涉及的 OpenAI 的一些想法有所更改。
极客公园在浏览了这份被删除的谈话纪要后,发现其中不仅涉及 Sam 眼中对OpenAI的短期规划,也隐藏着获得微软云计算资源大力支持后,OpenAI 所承担的压力。毕竟,模型的微调、推理依旧消耗大量计算资源。据 The Information 报道,Open AI 的模型已经花费了 Microsoft Azure 12 亿美元,将计算资源集中于支持 OpenAI,也让微软的其他部门可使用的服务器受限。
(资料图)
对此,Sam 表示降低成本是目前的首要目标。
此外,Sam 还透露:目前,开放更长的上下文窗口、提供微调 API 等服务都受到GPU资源的限制;
这场对话中,Sam Altman 回应了许多外界关心的问题,比如竞争与商业化:
尽管刚刚招聘了一位世界级的产品经理 Peter Deng,但OpenAI 不会考虑发布更多的产品;
未来的应用趋势是大模型的功能嵌入更多APPs,而不是在ChatGPT上生长出更多插件,因为现实中大多数插件并没有呈现出 PMF(Product / Market Fit,即产品市场匹配);
过去几年,OpenAI 以数百万倍的速度扩展模型规模,但这样的速度不可持续。接下来,OpenAI 会继续以 1 到 3 倍的速度,增加模型规模,以提升模型性能。
谈话纪要公开于 5 月 29 日,根据网友的记录,于 6 月 3 日左右删除。以下是通过备份获得的内容:
01
OpenAI目前受到
GPU的严重限制
随着对话扩展,
所需的计算资源呈指数增长
目前 OpenAI 的 GPU 非常有限,这拖延了他们许多短期计划。客户*的抱怨是 API 的可靠性和速度。Sam 承认他们的担忧,并解释说,大部分问题是由于 GPU 短缺。
The longer 32k context can』t yet be rolled out to more people. OpenAI haven』t overcome the O(n^2) scaling of attention and so whilst it seemed plausible they would have 100k - 1M token context windows soon (this year) anything bigger would require a research breakthrough.
更长的 32K 上下文还不能提供给更多的人。OpenAI 还没有克服注意力机制的 O (n ^ 2) 的扩展问题,尽管看起来,他们很快 (今年) 就会拥有 100k-1M Token 的上下文窗口。任何更大的窗口都需要研究突破。
注:O (n^2) 意味着,随着序列长度的增加,执行 Attention 计算所需的计算资源呈指数增长。O 用来描述算法时间或空间复杂度增长速度的上限或最坏情况;(n^2)表示复杂度与输入大小的平方成正比。
微调 API 目前也受到 GPU 可用性的限制。他们还没有使用像 Adapters 或 LoRa 这样的高效微调方法,因此,通过微调进行运行和管理(模型)非常计算密集。未来将对微调提供更好的支持。他们甚至可能主持一个基于社区的模型贡献市场。
专用容量供应受 GPU 可用性的限制。OpenAI 提供专用容量,为客户提供模型的私有副本。要获得这项服务,客户必须愿意承诺预先支付 10 万美元。
02
OpenAI的近期路线图
2023,降低智能成本;
2024,多模态的有限演示
Sam 也分享了他所看到的 OpenAI API 临时近期路线图。
2023:
更便宜更快的 GPT-4ーー这是他们的首要任务。总体而言,OpenAI 的目标是尽可能地降低「智能成本」,因此他们将努力工作,随着时间的推移继续降低 API 的成本。
更长的上下文窗口ーー在不久的将来,上下文窗口可能高达 100 万个 Token。
微调APIー微调 API 将扩展到最新模型,但具体的形式将取决于开发者表明他们真正想要什么。
一个有状态的API(stateful API)- 当今天调用聊天 API 时,你必须反复通过相同的会话历史,反复支付相同的 tokens。将来会有一个版本的 API 可以记住会话历史记录。
2024:
多模态- 这作为 GPT-4 版本的一部分进行演示,但在更多 GPU 上线之前不能扩展到所有人。
03
商业化预判和思考:
插件「没有 PMF」,
可能不会很快出现在 API 中
很多开发者都对通过 API 访问 ChatGPT 插件感兴趣,但 Sam 说他认为这些插件不会很快发布。除了 Brosing 插件 之外,其他插件的使用情况表明还没有 PMF(Product/Market Fit)。他指出,很多人认为他们希望自己的应用程序位于 ChatGPT 之内,但他们真正想要的是 ChatGPT 存在于应用中。
04
除了 ChatGPT,
OpenAI 将避免与其客户竞争
伟大的公司都有
一个杀手级应用
不少开发者表示,他们对使用 OpenAI API 开发感到紧张,因为 OpenAI 最终可能发布对他们有竞争力的产品。Sam 说,OpenAI 不会在 ChatGPT 之外发布更多的产品。他说,历史上,伟大的平台公司有一个杀手级应用。ChatGPT 将允许开发者成为自己产品的客户来改进 API。ChatGPT 的愿景是成为一个超级智能的工作助理,但很多其他的 GPT 用例,OpenAI 不会涉及。
05
需要监管,
但不是现在
「我对多少个人和公司
有能力持有大模型表示怀疑」
虽然 Sam 呼吁对未来的模型进行监管,但他认为现有模型并不危险,认为监管或禁止它们是一个大错误。他再次强调了开源的重要性,并表示 OpenAI 正在考虑将 GPT-3 开源。他们还没有开源,部分原因是他对有多少个人和公司有能力持有和服务大型语言模型(LLMs)表示怀疑。
06
规模定律仍然适用
几年数百万倍的扩展速度,
不可能一直持续下去
最近有很多文章声称「巨型 AI 模型的时代已经过去」。这并不准确。(注:在 4 月一场在 MIT 的活动中,Sam Altman 曾经表示:我们现在已经接近巨大模型时代的尾声。)
OpenAI 的内部数据表明,模型性能的规模定律仍然适用,增加模型的大小将继续提高性能。
由于 OpenAI 在短短几年内就将模型扩大了数百万倍,这样的扩展速度不可能持续下去。这并不意味着 OpenAI 不会继续尝试把模型做得更大,而是意味着,它们每年的规模可能会增加一倍或三倍,而不是增加许多数量级。
规模定律有效对 AGI 开发时间线有重要意义。规模定律的假设是我们可能已经具备构建 AGI 所需的大部分要素,并且剩下的工作,主要是将现有方法扩展到更大的模型和更大的数据集上。如果规模的时代已经过去,那么我们可能会离 AGI 更遥远。规模定律继续适用的事实,强烈暗示着更短的时间线。
标签:
-
2022-02-07 14:57:45
奇迹!绝杀!女足亚洲杯逆转夺冠!<
刚刚,中国女足上演逆转绝杀奇迹!她们在亚洲杯决赛中3:2力克韩国队,时隔16年再夺亚洲杯冠军!
-
2022-02-07 14:57:45
中国政府与阿根廷共和国政府签署共建“一带一路”谅解备忘录<
新华社北京2月6日电(记者安蓓)国家发展改革委6日称,国家发展改革委主任何立峰与阿根廷外交、国际贸易和宗教事
-
2022-02-07 14:57:43
中华人民共和国和阿根廷共和国关于深化中阿全面战略伙伴关系的联合声明(全文)<
新华社北京2月6日电中华人民共和国和阿根廷共和国关于深化中阿全面战略伙伴关系的联合声明一、应中方邀请,阿根廷
-
2022-02-07 14:57:40
春节假期国内旅游出游2.51亿人次<
春节遇冬奥,旅游年味浓。根据文化和旅游部数据中心测算,2022年春节假期7天,全国国内旅游出游2 51亿人次,同比
-
2022-02-07 14:57:40
中吉签署关于经典著作互译出版的备忘录 开启两国人文交流互鉴新阶段<
新华社北京2月6日电(记者史竞男)国家主席习近平6日会见来华出席北京2022年冬奥会开幕式的吉尔吉斯斯坦总统扎帕
-
2023-06-08 04:56:38
被删除的Sam Altman谈话纪要,讲了什么?
SamAltman的欧洲之行仍在进行中。前不久,在伦敦,他和AI公司HumanLooo
-
2023-06-08 04:43:39
中国电信秦忻:自研光网络管控运维系统,实现智慧化运营|滚动
中国电信秦忻:自研光网络管控运维系统,实现智慧化运营,C114讯6月7日
-
2023-06-08 04:26:55
领导看了给你加薪!python +ddt+excel 一招鲜,接口自动化测试轻松搞定,测试报告惊艳四座!
“& 160;接口自动化测试是指通过编写代码或使用工具,模拟用户发送请求
-
2023-06-08 03:46:03
罗博特科06月07日大涨,股价创历史新高
06月07日,罗博特科股价大涨。截至今日收盘,罗博特科上涨20 00%,收盘
-
2023-06-08 03:54:12
绵阳平武:农民运动会精彩纷呈 不误农时趣味多-环球讯息
传承农耕文化,乐享田园时光。6月6日,时值芒种,在绵阳平武县高村乡的
-
2023-06-08 03:07:46
客观唯心主义和主观唯心主义的区别是什么意思_客观唯心主义和主观唯心主义的区别是什么 天天新视野
想必现在有很多小伙伴对于客观唯心主义和主观唯心主义的区别是什么方面
-
2023-06-08 02:55:57
win10 投影到此电脑 灰色_win10投影到此电脑不能用|环球实时
1、一、原因:出现这样的情况,多半是由于显卡驱动和Win10不兼容所导致
-
2023-06-08 02:40:22
GaussDB(DWS)查询过滤器原理与应用
摘要:GaussDB(DWS)查询过滤器(黑名单)提供查询过滤功能,支持自动隔
-
2023-06-08 02:45:08
世茂能源06月07日主力资金大幅流出
世茂能源06月07日主力资金净流出751 33万元,涨跌幅为-1 41%,主力净量
-
2023-06-08 02:24:56
商品期货收盘多数下跌,甲醇跌3%,纸浆、尿素、纯碱跌超2% 每日视讯
方正期货表示进口木浆现货市场成交氛围平平,价格稳中略降。目前浮法
-
2023-06-08 01:41:24
官旗促销 爱奇艺黄金会员年卡+京东plus年卡 138元_观热点
官旗促销爱奇艺黄金会员年卡+京东plus年卡138元
-
2023-06-08 01:24:27
世界焦点!广东2023年夏季高考首场考试顺利进行,70万考生奔赴考场
文 羊城晚报全媒体记者孙唯6月7日,广东省2023年普通高考首场语文科目
-
2023-06-08 01:10:25
平潭老字号“逆龄”成长的秘密-热头条
“希望通过宋锦记海洋科技食品加工园项目,让‘宋锦记’这个平潭老字号
-
2023-06-08 00:56:35
先达股份:年产1000吨咪唑烟酸、3000吨农药中间体项目试生产
先达股份公告,公司全资子公司辽宁先达农业科学有限公司年产1000吨咪唑
-
2023-06-08 00:52:05
当前信息:融创提请股东大会授予董事发行不超已发行股份数目的20%新股
公司谨订于6月30日举行股东周年大会 财经网讯6月7日,融创中国发布
-
2023-06-08 00:31:40
大盘弱势震荡不改 走势反复在所难免
金融投资网记者林珂快速回调后大盘继续震荡分化。沪指周三小幅高开后围
-
2023-06-08 00:25:11
主要矛盾和次要矛盾的方法论_主要矛盾和次要矛盾
想必现在有很多小伙伴对于主要矛盾和次要矛盾方面的知识都比较想要了解
-
2023-06-07 23:56:52
健之佳:王雁萍女士累计质押的公司股份数为129万股
健之佳(SH605266,收盘价:80元)6月7日晚间发布公告称,截至本公告日
-
2023-06-07 23:39:53
2023年6月7日广西铁矿石(巴)价格最新行情预测 天天播资讯
中国报告大厅2023年6月7日广西铁矿石(巴)价格最新走势监测显示:防城港
-
2023-06-07 23:26:20
最早江苏方言茉莉花原唱?
一、最早江苏方言茉莉花原唱?茉莉花是江苏民歌,是由何仿率领的合唱队
-
2023-06-07 23:27:59
传媒、软件、AI板块领涨!12股股价再创历史新高|世界今头条
人工智能、传媒娱乐、软件服务等板块表现较好,中国科传、中国出版等传
-
2023-06-07 23:19:23
【清一色午报】三大股指涨跌不一,宁德时代跌超5%,AI概念股再迎集体反弹|全球观察
①宁德时代跌超5%,在其拖累下创业板续创年内新低;②两市共38只个股涨
-
2023-06-07 23:06:25
【活跃度】6月7日商品期货活跃度排行榜:原油、菜油、橡胶位列前三 环球聚看点
6月7日,商品期货活跃度排行榜(TOP10)出炉:品种名称成交量持仓量活
-
2023-06-07 22:22:04
微速讯:【收评】豆油日内上涨0.03% 机构称油脂反弹乏力
行情表现6月7日收盘价当日涨跌幅五日涨跌幅豆油7016 00元 吨0 03%3 48%
-
2023-06-07 21:57:57
中国科学家领衔国际团队发现第一代超大质量恒星化学遗迹 环球观天下
中新网北京6月7日电(记者 孙自法)宇宙中第一代恒星质量有多大?理论预
-
2023-06-07 21:42:12
传媒、软件、AI板块领涨!12股股价再创历史新高 世界看热讯
人工智能、传媒娱乐、软件服务等板块表现较好,中国科传、中国出版等传
-
2023-06-07 21:24:51
经典互联网是否仍然重要? 热门看点
日前,互联网协会进行了一项小型研究,探索互联网边缘的发展和创新,重
-
2023-06-07 21:08:14
天天热讯:税收红利精准直达 经营主体减压力强信心
今年以来,为推动政策红利精准高效直达经营主体,税务部门既加力政策解
-
2023-06-07 20:25:09
泰安市立医院开展全国“爱眼日”宣传教育周系列活动 世界新要闻
通讯员孙鲁腾李元鹏在第28个全国“爱眼日”到来之际,为进一步普及广大
-
2023-06-07 20:30:02
注意!概伦电子将于6月28日召开股东大会
概伦电子(SH688206,收盘价:29 61元)6月7日发布公告称,2023年6月28