近日,美国创业加速器Y Combinator(YC)在旧金山举办首届AI新创黉舍
(AI Startup School)并约请多位AI产业重量级人物出席,包罗埃隆·马斯克、OpenAI首席执行官奥特曼等。
前不久刚竣事130天美国政府“政府服从部”(DOGE)特别雇员任期的马斯克,在访谈中开门见山地评价这段经验
犹如一次“有趣的支线任务”,但其重要性期近
将到来的AI革命眼前相形见绌。他将政府服从部门的工作比作“清算海滩”,而即将到来的AI则是“千英尺高的海啸”。
马斯克预测数字超等智能大概在今年
或明年到来,将比人类更智慧,同时将来人形机器人数目将远超人类,大概达人类生齿的5-10倍。他更是年夜
胆预言AI驱动的经济范围
将是当前的数千倍乃至数百万倍,人类智能占比大概降至1%以下。以下为其讲话部门要点:
马斯克在访谈中坦言,在华盛顿特区的经验
让他深入
了解到“政治中的信号噪音糟糕透了”。他将在DC的工作描写
为“有趣的支线任务”,但终极决议
“回到主线任务——构建技能,这是我喜好做的事”。
这位亿万富翁解释了本身脱离政府职务的基本
原因
:“修复政府就像清算海滩——海滩很脏,有针头、粪便和垃圾。但同时还有这堵千英尺高的水墙,这就是AI海啸。假如你面临千英尺高的海啸,清算海滩真的还有多重要呢?并没有那么重要。”
他定义的“数字超等智能”是“在任何事变上都比任何人类都更智慧的智能”。马斯克预测,AI将鞭策
经济范围
实现指数级增加
——“不是比当前经济年夜
10倍,而是数千倍,乃至数百万倍”。
其余
,马斯克以去年xAI构建训练超等集群的实例,展示了其标志性的“第一性道理
”思维与极限执行本领。当时供应商预估完成10万块H100 GPU集群需18-24个月,但xAI必须在6个月内完成。
马斯克用第一性道理
思维解决了AI训练的硬件挑衅。当供应商告诉
他们必要18到24个月才气完成10万个H100 GPU的训练超等集群时,马斯克团队将其紧缩
到6个月。
他们租用了孟菲斯一家放弃
的Electrolux工厂
,经由过程
租赁发电机解决150兆瓦的电力需求,租用了美国四分之一的移动冷却设备,并使用特斯拉Mega Packs来平滑训练进程
中的功率变革。马斯克乃至亲自到场布线工作,“睡在数据中内心”。
马斯克预测,将来将有至少5倍于人类数目的人形机器人,“也许是10倍”。他坦言曾因担忧
“让终结者成为现实”而在AI和机器人范畴耽搁,但终极意识到"无论我做不做,这都会发生。你要么是观众,要么是到场者。我甘心做到场者。”
在更宏年夜
的愿景中,马斯克将人类文明置于卡尔达肖夫等级
的框架下。他认为人类现在只使用了地球1-2%的能源,距离一级文明还很迢遥。而成为多行星物种是扩展
意识到星际的关键步骤,“极年夜
进步文明或意识的大概寿命”。
马斯克(Elon Musk)
我们正处于智能年夜
爆炸的异常
异常
早期阶段。成为多行星物种能极年夜
地延伸文明、意识或智能(无论是生物的还是数字的)大概的存续韶光
。我认为我们异常
接近
数字超等智能了。假现在年
没实现,明年必定
能成。
YC首席执行官暨总裁Garry Tan
[音乐] 让我们掌声欢迎埃隆·马斯克。[掌声] 埃隆,欢迎来到AI创业学院。你本日能年夜
驾光临,我们真的、真的觉得
无比幸运
。从SpaceX、特斯拉、Neuralink、xAI等等说起。在你做这统统之前,你生命中
有没有某个时候让你以为“我必须做出点伟年夜
的东西”?是什么让你做出了这个决议
?
马斯克(Elon Musk)
我最初并不认为本身能做出什么伟年夜
的东西。 我只是想尝试做些有用的东西,但我不认为我能做出什么特别伟年夜
的东西。假如你从概率上讲,那好像不太大概, 但我至少想试试看。
Garry Tan
你现在面对的是一房子
的人,他们都是技能工程师, 此中不乏一些冉冉升起的顶尖 AI 研究
者。
马斯克(Elon Musk)
好吧。我 我以为我们应当
...我更喜好“工程师”这个词,而不是“研究
员”。我是说,假如有什么基础算法的突破,那算研究
,但除此之外都是工程。
Garry Tan
也许我们可以从很久以前说起。我的意思是,你现在面对的是一房子
18到25岁的年青
人。 这里更偏年青
化,因为
首创人群体越来越年青
了。 你能设身处地想想他们吗?当你18、19岁的韶光
,你知道,学习编程,乃至想出了Zip2的第一个点子。对你来说,那是什么觉得
?
马斯克(Elon Musk)
是的,早在95年,我面临一个选择:要么在斯坦福读研究
生、博士, 实在是材料科学标的目的
,研究
超等电容器,想用在电动车上,本质上是为了解决电动车的续航题目; 要么就投身于这个当时年夜
多数人闻所未闻、叫做“互联网”的东西。 我和我的传授谈过,他是材料科学系的比尔·尼克斯(Bill Nix), 我说, 我能不能休学一个学期? 因为
这个(互联网)很大概会掉
败,然后我就得回黉舍
继续念书
。
然后他说,这大概是我们末了一次发言了。 他说对了。 以是,但我当时以为事变年夜
概率会掉
败,而不是年夜
概率会乐成。 然后在95年,我写了... 基本上,我认为是第一个或接近
第一个的互联网地图
、门路指引、白页和黄页。
我就本身写了那些代码,我乃至没用网页办事
器。我直接读取端口,因为
我 负担不起,也负担不起一条T1专线。 最初的办公室在帕洛阿尔托的谢尔曼年夜
道(Sherman Avenue)。 楼下好像就有一家ISP(互联网办事
提供商)。以是我就往地板上钻了个洞, 直接拉了根网线连到ISP。
然后 你知道, 我兄弟参加了我,还有另一位联合首创人格雷格·库里(Greg Curry),他已经逝世
了。 我们当时连住的处所
都负担不起,以是我们就...办公室每月房钱
500美元,我们就睡在办公室里,然后在佩奇米尔路的基督教青年会(YMCA)洗澡。 是的,我们末了算是做了一家有点用的公司, Zip2,在初期。 我们 我们确实开辟了很多 异常
异常
棒的软件技能,但我们某种水平上被传统媒体公司“俘获”了,因为
像奈特-里德报业(Knight-Ridder)、纽约时报(New York Times)这些公司既是投资者,又是客户,也在董事会里。
以是他们总是想把我们的软件用在毫偶然义的处所
。 以是我想直接面向消耗者。总之,Zip2的事就不细说了,但焦点是我真的只是想在网上做点有用的事。 因为
我就两个选择:要么读博士,看着别人建设互联网;要么以某种渺小
的方法
到场建设互联网。我当时想, 我猜我总可以先尝试,掉
败了再归去读研。 不管怎样,结果算是相当乐成吧。卖了年夜
概3亿美元,
这在当时是很年夜
一笔钱。现在嘛,我以为一家AI初创公司的最低起拍价都得10亿美元了。 这就像...现在有太多该逝世
的独角兽公司了,简直像一群独角兽,你知道的,独角兽是指估值十亿的情况。
Garry Tan
从那今后
通货膨胀了,以是现实上钱贬值了不少。
马斯克
是的。我是说,在1995年,你年夜
概花5美分就能买个汉堡?好吧,没那么夸张,但我是说,是的,确实发生了很多通胀。 但 我是说,现在AI的热度是是相当高,就像你看到的。 你知道,你会看到有些公司,成立还不到一年,偶然就能获得十亿乃至几十亿美元的估值。 我猜此中一些大概会乐成,大概也确实会乐成。 但 看到此中一些估值确实让人瞠目结舌。 是的,你怎么看?我是说,
Garry Tan
我个人异常
看好。我实在异常
乐观。以是,我认为在座的列位
将会创造年夜
量的代价,这些代价 你知道,全球应当
有十亿人都在使用这些东西。 我们现在乃至还没触及表面。我很喜好那个互联网的故事, 纵然在那个韶光
,你也很像在座的列位
,因为
你知道,全体
传统媒体公司的CEO们都把你视为那个懂互联网的人。而现在,对于那个不明白AI正在发生什么的广阔世界
——那个企业界,或者说全体
世界
——他们将会指望在座的列位
,理由完备
一样。听起来你好像知道...有哪些切实的教导?听起来此中之一是不要放弃董事会把握
权,或者要异常
小心,得有个真正的好律师。
马斯克
我想我第一家初创公司最年夜
的弊端
就是让传统媒体公司把握了太多 股东和董事会把握
权,这必然导致他们从传统媒体的视角看题目, 于是他们会让你做一些对他们来说好像公道,但用新技能来看实在基本
不公道的事变。 我应当
指出,我 我最初实在并没打算开公司。我...我试已往网景(Netscape)找工作。 我把简历投给了网景。 马克·安德森(Mark Andreessen)知道这事。
但我认为他基本
没看到我的简历,然后没人回应。以是 之后我试着在网景的年夜
厅里晃悠,看能不能“偶遇”谁,但我太怕羞了,不敢跟任何人语言。以是我就想,天啊,这太荒谬了。那我就本身写软件,看看会怎样吧。以是,这实在并不是出于“我想开公司”的立场。我只是想到场建设,你知道的,互联网的某个部门。 既然我在互联网公司找不到工作,那我就得创办一家互联网公司。总之,是的。是的。我是说,AI将深入
转变
将来。其水平难以估量, 但你知道 经济呢,假设我们不走弯路,
而且 AI没有把我们和它本身都干掉
踪
, 那么你终极会看到一个不是比当前经济范围
年夜
10倍的经济,终极,假如我们成为比如说,或者不管我们的将来机器后代是什么,或者说重如果
机器后代,成为卡尔达肖夫等级
(Kardashev Scale)2级或更高等
的文明。那我们评论的经济范围
将是本日的数千倍,也许是数百万倍。以是, 是的,我是说,我我当时确实有点觉得
,你知道,当我在华盛顿特区时,
因为
要扫除浪费和敲诈而备受抨击
,那算是个有趣的支线任务吧, 就支线任务而言。 但是 得回到主线任务上来了。是的,我得回到这里的主线任务上来了。嗯 但我确实觉得
到,你知道,有点像是...这就比如政府改革有点像...比如海滩很脏,有针头、粪便和垃圾,你想清算海滩,但与此同时还有一道一千英尺高的水墙——那就是AI海啸—— 假如一千英尺的海啸就要袭来,清算海滩还真的有多年夜
意义吗?意义不年夜
。哦,很高兴你回到主线任务上了。这异常
重要。
是的,回到主线任务。 制作技能,这是 我喜好做的事。 干扰太多了。政治的信号噪音比太糟糕了。
Garry Tan
以是, 我是说,我住在旧金山,以是你不用跟我说两遍(我也懂)。
马斯克
是的,华盛顿特区就像是,你知道的,我猜全体
华盛顿都是政治,但 假如你试图制作火箭或汽车,或者你试图让软件能靠得住
地编译和运行,那么你必须 最年夜
水平地追求
真相,否则你的软件或硬件就无法工作。 就像你不能诱骗数学, 数学和物理是严苛的裁判。 以是我习惯于待在那种最年夜
水平追求
真相的情况中,而这必定
不是政治。 以是不管怎样,我很高兴回到,你知道的,科技范畴。我想我
Garry Tan
有点好奇,回到Zip2那个时候。你当时有几亿美元,或者说你套现了几亿美元?
马斯克
我是说,我拿到了2000万,对吧?
Garry Tan
好吧。以是,你至少解决了钱的题目。 然后你基本上拿着它继续赌下去,你继续到场了X.com,厥后变成了PayPal和Confinity(合并)。
马斯克
是的。我把筹码留在了赌桌上。
Garry Tan
不是每个人都会这么做。在座的很多人将来也得做这个决议
。是什么驱使您再次投入战役
?
马斯克
我以为对于Zip2,我们开辟了异常
棒的技能,但从未真正得到充实使用。至少在我看来,我们的技能比雅虎(Yahoo)或其他任何人都好,但被我们的客户(媒体公司)限定了。以是我想做点不受客户约束的事,直接面向消耗者。这就是厥后的X.com/Paypal。本质上是X.com与Confinity合并,我们一起建立
了Paypal。
然后,现实上Paypal的“校友收集
”(Paypal Mafia)大概创造了比21世纪其他任何公司都多的公司。Infinity和X.com合并时,聚集了那么多有才气的人。我只是想...我以为在Zip2我们有点被约束
了四肢举动
,我就想,好吧,假如我们不被约束
,直接面向消耗者会怎样?结果就是这样。
但是,是的,拿到Zip2那2000万美元支票时(指个人所得),我当时和四个室友合住,银行里年夜
概只有一万块存款。然后这张支票居然是经由过程
邮件寄来的(太不可思议
了)。经由过程
邮件寄来!然后我的银行余额一会儿
从一万变成了两千零一万(2000万 + 1万)。我就想, 好吧(还要扣税什么的)。但我厥后险些把全体
的钱都投进了X.com。就像你说的,险些把全体
筹码都留在了赌桌上。
是的,PayPal之后,我就想, 我有点好奇为什么我们还没派人去火星。 我去了NASA网站想找我们什么韶光
派人去火星,结果没有日期。我以为大概是网站太难找了。 但究竟上,基本
没有送人去火星的真正筹划
。于是, 你知道,这说来话长,我不想在这里占用太多韶光
,但
Garry Tan
我想我们都听得全神灌注
。
马斯克
以是,以是当时我实在在长岛高速公路上(Long Island Expressway)和我友人
阿德奥·罗西(Adeo Ressi)在一起。 我们在年夜
学是同砚(宾夕法尼亚年夜
学), 阿德奥问我PayPal之后打举动看成
什么,我说, 我不知道,我猜也许我想在太空范畴做点公益项目吧,因为
我不认为我能在太空范畴做任何商业性的东西,那看起来是国家的专属范畴。 以是 但你知道我很好奇我们什么韶光
送人去火星, 就是当时我创造
,哦,网站上没有,我开始深挖。 我必定
这里省略了很多,但 我我 我最初的设法主意
是做一个叫“火星生命”(Life to Mars)的火星慈善任务,就是送一个带种子和脱水养分
凝胶的小型温室到火星,在火星上着陆,然后你知道的,给凝胶加水,然后你就有了这个绝妙的镜头——红色背景上的绿色植物。
顺便说一句,很长一段韶光
我都没意识到“money shot”我想是个色情片的梗(指关键的热潮
镜头)。但, 总之,重点是那将是红色背景上绿色植物的绝妙镜头,试图以此激励 你知道的,NASA和"大众,"
派宇航员去火星。随着我了解更多,我意识到哦,顺便说一下,在这个进程
中,我在2001和2002年摆布
去了俄罗斯买洲际弹道导弹(ICBMs),这就像一次冒险。你知道的,你去见俄罗斯高层指挥官,说“我想买些洲际弹道导弹”。 这是为了进入太空。是的。不是为了 不是为了炸谁,但他们必须 作为裁军谈判的结果,他们必须烧毁一年夜
量
他们的年夜
型核导弹。以是我就想,好吧,我们拿两枚,你知道的,去掉
踪
核弹头, 再加一个额外的上面级用于火星。
但这觉得
有点迷幻,你知道的,2001年摆布
在莫斯科,和俄罗斯军方谈判买洲际弹道导弹。这太疯狂了。 但他们也不停给我抬价,以是 这简直和正常的谈判反着来。以是我就想,天啊,这些东西变得真贵。
然后我意识到,真正的题目并不是缺乏
去火星的意愿,而是基本
没有方法
在不超出预算的情况下做到,你知道的,乃至连NASA的预算都负担不起。以是这就是我决议
创办SpaceX的原因
——SpaceX是为了 推动
火箭技能,达到我们能送人去火星的水平。 那是在2002年。
Garry Tan
以是那并不是 你一开始就 想建立一家企业。你只是想开始做点你以为有趣、人类必要的东西,然后就像,你知道的,像猫扯线团一样,球就逐步解开了,结果这大概是门异常
赚钱的买卖。
马斯克
现在确实赚钱,但之前没有火箭初创公司乐成的先例,固然有过一些商业火箭公司的尝试,但都掉
败了。以是 SpaceX创办SpaceX时, 真的是出于这样一种设法主意
:我以为乐成的几率不到10%,也许只有1%,我不知道。 但 但但一家初创公司假如不做点什么来推动
火箭技能,那它必定
不是来自那些年夜
型国防承包商,因为
他们只是政府的附庸,而政府只想做非经常规的事变。以是, 要么来自初创公司,要么就基本
不会发生。以是,以是纵然乐成率很小也比没机会好, 所以是
的,SpaceX 我在2002年年中创办它时,预期会掉
败。我就像我说的,年夜
概90%的掉
败率,乃至招募人时,我也没试图粉饰
说它会乐成。
我说我们很大概会完蛋。 但 有1/10的机会大概不会完蛋,假如 但这是送人去火星、推动
技能水平的独一
途径。 然后 我终极成了火箭的总工程师, 不是因为
我想要,而是因为
我雇不到锐利
的人。以是, 没有优秀的资深工程师乐意参加,因为
他们以为这太冒险了,你会完蛋的。 以是我就成了火箭的总工程师。你知道,头三次发射确实掉
败了。以是那算是个学习进程
吧。 第四次很幸运
乐成了。但假如第四次没乐成 我就没钱了,那就彻底完了。以是那好坏常悬的事。
假如第四次猎鹰(Falcon)发射掉
败,那就彻底完了,我们就参加之前那些火箭初创公司的坟场了。以是, 我对乐成几率的估量
不算太离谱。 我们只是险之又险地乐成了。 特斯拉差不多是同时进行的。 2008年是艰巨的一年。 因为
在2008年年中 或者叫2008年炎天 SpaceX的第三次发射掉
败了,我们连续三次掉
败。 特斯拉的融资轮也掉
败了。以是特斯拉很快就破产了。 这就像,天啊,这太惨了。 这这将成为傲慢
自年夜
的警油滑事。
Garry Tan 20:00
大概在那段韶光
里,很多人都在说,埃隆是个搞软件的,为什么你要做硬件?为什么...是的,他为什么要选择做这个,对吧?
马斯克
是的。100%。以是你可以看看当时的媒体, 因为
当时的报道现在还能在网上找到。他们不停叫我“互联网小子”(internet guy)。 以是“互联网小子”又名“傻瓜”试图造火箭公司。 以是 你知道 我们被讽刺了很多。 这听起来确实很荒谬,互联网小子开火箭公司听起来就不像能乐成的配方
诚实说。以是我不怪他们。我当时想,是啊,你知道,听起来确实不太大概,我也赞成
这不太大概。 但幸运
的是第四次发射乐成了, 然后NASA授予了我们一份补给空间站的合同。 我想那年夜
概是12月22号摆布
,或者是圣诞节前。 因为
纵然第四次发射乐成也不足以保证乐成。我们还必要一份年夜
合同才气活下去。以是, 以是我接到了NASA团队的电话,他们真的说了,我们授予你们一份补给空间站的合同。我简直...我脱口而出,“我爱你们。”这平日
不是,你知道的,他们能听到的话。
因为
平日
都是很,你知道的,很岑寂的,但我当时想,“天啊,这救了公司。”然后, 我们关闭特斯拉融资轮是在它大概完成的末了一天、末了一个小时,就是2008年12月24日下战书6点。 假如那轮融资没关闭,圣诞节后两天我们就得拖欠工资了。以是2008岁尾
真是让人神经紧绷。
Garry Tan 22:03
我想从您的Paypal和Zip2经验
,到跳进这些硬核的硬件初创公司,贯串
始终的一点是可以或许找到并终极吸引这些特定范畴里最智慧的人...你知道,那 我是说在座的列位
, 有些人乃至还没解决
过一个人。他们才方才
开始职业生涯。你会对,你知道的,那个还从未做过这些事的埃隆说些什么?
马斯克 22:33
我平日
认为要尝试尽大概做有用的事。这这听起来大概有点陈词滥调,但做有用的事真的很难,尤其是对很多人有用。 比如说,总效用的曲线下面积,就是你对你同胞有多年夜
用处乘以若干
人? 就像物理上对“真实功”(true work)的定义。做到这点极其困难。而我认为假如你发愤做“真实功”, 你你乐成的几率会高得多。 就像,别追求
光彩,要追求
做功。
Garry Tan 23:07
你怎么判定那是“真实功”?是靠外部反馈吗?比如别人怎么看或者你知道产物对人有什么用?
马斯克 23:23
就像你知道,对你来说,当你找人工作时,你重视
什么?比如你知道,你找人或他们 那是不同的题目。我想是 我是说就你的终极产物而言,你只要说, 假如这东西乐成了,它将对若干
人有多年夜
用处? 这就是我的意思。然后你你做任何事,你知道的,无论你是CEO还是初创公司里的任何脚色,你做任何必要做的事来乐成,就像 而且要不停粉碎你的自我(ego),就像, 内化义务
(internalize responsibility)。 一个重要的掉
败模式就是当自我与本领之比(ego to ability ratio) 年夜
于1的韶光
。你知道 假如你假如你的自我本领比太高,
那你基本上就堵截了通向现实的反馈回路。 用AI术语来说,你你会打破你的强化学习(RL)回路。以是,你不想打破你的回路,你想要一个强大的RL回路,这意味着内化义务
(internalizing responsibility)并最小化自我(minimizing ego),无论任务是崇高还是卑微,你都去做。以是,我是说,这就是为什么我实在更喜好“工程”(engineering)这个词,而不是“研究
”(research)。我更喜好这个词,而且
我不想叫xAI一个实验室(lab)。
我只想它是一家公司。 就像,无论 无论是最简单、 最直接、 抱负情况下最低自我(ego)的术语,这些平日
都是好的标的目的
。 你你只想紧密地闭合与现实的回路(close the loop on reality hard)。 这这这是件超等年夜
事。
Garry Tan 25:01
我想在座列位
都异常
佩服您在运用
第一性道理
(First principles)方面的范例感化
。您是怎么肯定
本身的“现实”的?这好像是此中很重要的一部门。那些从未创造过任何东西、非工程师的人,比如某些记者,他们偶然会品评您。但显然您身边还有另一群人,他们是制作者,有着异常
高的...功业曲线下面积(指成绩巨年夜
)。人们该如何看待这点?哪些方法
对您有效?您会如何传递给...比如说您的孩子们?您会怎么告诉
他们在这个世界
驻足的方法
?比如,如何基于第一性道理
构建一个可预测的现实观。
马斯克 25:57
物理学的工具在 明白任何范畴并取得希望方面都极其有用。 第一性道理
显然是指,你知道的,将事物分化
到最大概精确的基本正义
要素(fundamental axiomatic elements),然后尽大概逻辑清晰地向上推理,而不是通太过析或类比来推理。 然后就是一些简单的事,比如极限思维(thinking in the limit),就像假如你外推 最小化这个东西或最年夜
化那个东西,极限思维异常
有资助。 我使用物理学的全体
工具。
它们适用
于任何范畴。 这就像一种超本领。 以是你可以拿,比如说火箭。你可以说, 一枚火箭应当
花若干
钱? 人们平日
接纳的方法
会看历史上火箭的成本是若干
,然后假设任何新火箭的成本必须和以前的火箭成本差不多。而第一性道理
的方法
是,你你看火箭由哪些材料组成
。假如是铝, 铜,碳纤维, 钢,无论是什么, 然后说这枚火箭有多重, 它的组成元素是什么?它们有多重?这些组成元素每公斤的材料代价是若干
?这就设定了火箭成本的真正底线。它可以渐进地接近
原材料的成本。
然后你意识到,哦,现实上一枚火箭的原材料只占历史火箭成本的1%或2%。以是制造进程
必然好坏常低效的, 假如 假如原材料成本只有1%或2%的话。这就是对火箭成本优化潜力的第一性道理
分析
。而这还是在思量可重用性之前。 举一个AI方面的例子,我猜 去年,当xAI试图制作一个训练超等集群(training supercluster)时, 我们我们去找各家供应商,说(这是去岁首年月
的事)我们必要10万块H100(GPU)来进行连贯训练(train coherently)。
他们估量
完成这个必要18到24个月。我说, 我们必要在6个月内完成。 否则我们就没竞争力了。以是然后 假如你把它分化
,必要什么? 你必要一栋修建,你必要电力,你必要冷却。 我们没韶光
从零开始建一栋楼。以是我们必须找一个现成的修建。于是,我们找到了孟菲斯一个放弃
的工厂
,以前是生产伊莱克斯(Electrolux)产物的。 但它的输入功率是15兆瓦,而我们必要150兆瓦。
以是, 我们我们 租了发电机,把它们放在年夜
楼的一侧,然后我们必要冷却。以是,我们租用了美国年夜
约四分之一的移动冷却本领,把 冷却器(chillers)放在年夜
楼的另一侧。 这还没完备
解决题目,因为
在训练进程
中功率波动 异常
年夜
。以是功率大概在100毫秒内降落50%,发电机跟不上。于是我们结合 我们增加了特斯拉Megapacks(年夜
型电池组),并修改了Megapacks的软件,使其可以或许平滑训练进程
中的功率波动。 然后还有一年夜
堆收集
挑衅。 因为
假如你试图让10万块GPU进行连贯训练,收集
线缆异常
异常
有挑衅性。
Garry Tan 29:48
...听起来您提到的险些任何一件事,我都能想象有人会直接告诉
您“不可,你搞不到那个电力”,“你搞不定这个”。第一性道理
思维的一个关键点好像是:我们要问“为什么”,要弄清晰原因
,而且要挑衅对面的人。假如他们给出的答案
我不满意,我就不会担当它。是这样吗?我以为,假如有人想像您一样做硬件,好像尤其必要这点。而在软件范畴,我们有很多冗余,比如“我们可以加更多CPU,没题目的”。但在硬件上,行欠亨
就是行欠亨
。
马斯克 30:37
我认为这些第一性道理
思维的通用原则适用
于软件和硬件,也适用
于任何事物。 我只是用了一个硬件方面的例子 阐明我们如何被告诉
某事不大概,但一旦我们将其分化
成组成要素——我们必要一栋修建,我们必要电力,我们必要冷却,我们必要 我们必要功率平滑(power smoothing)——然后我们就能解决这些组成要素。 但它是...然后我们 我们让收集
运营团队 进行全体
的布线工作,全体
事 四班倒24/7, 我也睡在数据中心,还亲自布线。
还有很多其他题目要解决。 你知道去年没人用10万块 H100进行过连贯训练。也许今年
有人做了。我不知道。 然后然后我们厥后把它翻倍 到了20万块。以是现在我们我们在孟菲斯的训练中心有15万块H100,5万块H200,和3万块GB200。 我们即将在孟菲斯地区的第二个数据中心上线11万块GB200。
Garry Tan 31:54
您是否认
为预训练(Pre-training)仍旧有效?缩放定律(Scaling laws)仍旧成立?终极博得
这场比赛的人将拥有最年夜
、最智能的模子,然后可以蒸馏(Distill)它?
马斯克 32:09
除了年夜
型AI的竞争力之外,还有其他各类
因素 对于年夜
型AI来说, 职员的才气固然重要。 硬件的范围
以及你如何有效使用这些硬件也很重要。以是你不能只是订购一年夜
堆GPU,然后它们 你不能只是插上电就行。以是你得弄到很多GPU,并让它们 能稳固地进行连贯训练。
然后就是,你有什么独特的数据泉源?我猜分发(distribution)在某种水平上也很重要,比如人们如何接触到你的AI?对于那些要成为有竞争力的年夜
型基础模子(large foundation model)来说,这些都是关键因素。 就像 就像我友人
伊利亚(Ilya Sutskever)说的,我认为 你知道我们差不多用光了人类生成的数据进行预训练, 高质量标记(tokens)的供应枯竭得相当快, 然后你必须做很多 你必要本质上创造合成数据(synthetic data) 而且可以或许准确判定你创造的合成数据,以验证它是否是真实的合成数据,还是与究竟不符的幻觉(hallucination)。 以是实现与现实接轨(grounding in reality)是是很辣手
的,但我们正处于必要投入更多精力在合成数据上的阶段。 就像现在我们正在训练Grok 3.5,其重点是推理(reasoning)。
Garry Tan 33:55
回到您的物理学概念
,我听说硬科学,尤其是物理教科书,对推理异常
有用。而研究
职员告诉
我,社会科学对推理完备
没用。
马斯克 34:11
是的,这大概是真的。 所以是
的 你知道将来异常
重要的一点是 将深度AI 在数据中心或超等集群中与机器人技能(robotics)结合。
这样 你知道像Optimus人形机器人这样的东西 是的Optimus太棒了。将来会有异常
多人形机器人以及各类
年夜
小外形的机器人,但我的预测是人形机器人将远超其他全体
机器人总和,大概多一个数目级,差异巨年夜
。
Garry Tan 34:55
有传言说您筹划
组建一支机器人军队?
马斯克 35:01
无论是我们做,还是 还是特斯拉做,你知道的,特斯拉和xAI互助紧密。
就像你见过若干
家人形机器人初创公司?就像我想黄仁勋(Jensen Huang)在台上带了一年夜
堆机器人, 来自不同公司的机器人。我想丰年
夜
概十几种不同的人形机器人。以是,我是说,我猜,你知道的,部门我不停以来在抗争的、也许拖慢我脚步的是,我是个有点 我不想我不想让终结者(Terminator)成真,你知道的。以是,我某种水平上, 至少直到迩来几年,在AI和和类人机器人(humanoid robotics)上拖拖沓拉。然后我有点意识到,它它正在发生,无论我做不做。以是,你只有两个选择。到场你既可以当观众(spectator),也可以当到场者(participant)。以是,就像,好吧,我甘心当到场者而不是观众。 以是现在就是你知道的,在人形机器人和呃数字超等智能(digital super intelligence)上全力加速(pedal to the metal)了。
Garry Tan 36:10
我想,还有第三件事年夜
家听您谈过很多,我个人异常
赞同
,就是成为多行星物种(Multiplanetary species)。这如何融入整体?这不但仅是10年或20年的事,也许是100年的事,是关乎人类好几代人的事。您如何看待它?这里有AI,显然有具身机器人(Embodied robotics),还有成为多行星物种。这些终极是否都办事
于末了一点?或者,您现在驱动将来10年、20年、100年的动力是什么?
马斯克 36:46
天啊,100年,老兄。我希望100年后文明还在。假如它还在,那会和本日的文明年夜
相径庭。 我是说,我预测人形机器人至少会是人类数目的5倍,也许是10倍。 而看待文明进步的一种方法
是卡尔达肖夫等级
(Kardashev Scale)的完成百分比。以是,假如你是,你知道的,等级
一(Scale one),你 你已经驾驭了一颗行星的全体
能量。现在在我看来,我们只 使用了地球能量的1%或2%。 以是我们离卡尔达肖夫等级
一还有很长的路要走。 然后等级
二(Scale two)是驾驭一颗恒星的全体
能量。 那将是地球能量的年夜
概十亿倍,也许接近
万亿倍。
然后等级
三(Scale three)是全体
星系的能量,离那还远着呢。以是我们正处于智能年夜
爆炸(intelligence big bang)的异常
异常
早期阶段。我我希望我们在就多星球而言,我想我想年夜
约30年内,我们会有充足的物资
转移到火星,使火星可以或许自我维持(self-sustaining),纵然来自地球的补给船制止,火星也能继续发展繁华
。 这极年夜
地延伸了文明、或意识、或智能(包罗生物的和数字的)的预期寿命。 以是这就是为什么我认为成为多星球物种很重要。
我有点困扰于费米悖论(Fermi Paradox),就像为什么我们没看到任何外星人?这大概是因为
智能异常
有数。 也许我们是这个星系里独一
的智慧生命。 那样的话,意识智能就像无边暗中中的渺小
烛光,我们应当
尽统统大概确保这渺小
的烛光不熄灭,而成为多星球物种或让意识多星球化(making consciousness multilanetary)能极年夜
进步文明的预期寿命,而且它是在前去其他恒星系之前的下一个步骤。 一旦你至少拥有两个星球,你就有了一个鞭策
太空观光进步的欺压力(forcing function)。 那终极将导致 意识扩展
到星辰年夜
海(expanding to the stars)。
Garry Tan 39:24
费米悖论大概暗示,一旦科技达到某个水平,文明就会自我毁灭。我们如何制止自我毁灭?您会给满房子
的工程师什么建议?我们能做些什么来防止这种情况发生?
马斯克 39:41
是的,如何避开“年夜
过滤器”(Great Filters)?一个明显的年夜
过滤器就是全球热核战争。以是我们应当
只管制止。
我想制作良性的AI机器人,那种酷爱
人类的AI, 你知道的,乐于助人的机器人。 我认为在构建AI中极其重要的一点是,对真相(truth)异常
严酷的服从,纵然那真相在政治上不精确(politically incorrect)。 我对什么会让AI变得异常
危险的直觉是,假如 假如你欺压AI信赖不真实的事变。
Garry Tan 40:27
您如何看待安全(Safety)与封闭(Closed)以获得竞争上风之间的辩论
?我以为很棒的一点是,您有一个有竞争力的模子,其他人也有。从这个意义上说,我们大概避开了我最担忧
的最糟糕的韶光
线(Timeline)——那种快速腾飞(Fast takeoff)且只把握在一个人手中的情况。那大概会导致很多事变崩溃
。而现在我们有选择,这很好。您怎么看?
马斯克 40:58
是的,我确实认为将会有几个深度智能(deep intelligences),也许至少有五个。 大概多达10个。 我不肯定
会不会有几百个,但大概接近
,比如说10个摆布
。 此中年夜
概四个在美国。 以是我不认为会有任何一个AI拥有掉
控的本领(runaway capability)。 但是的,会有几个深度智能。
Garry Tan 41:40
这些深度智能了解做什么?是做科学研究
,还是试图互相进击
?
马斯克 41:48
大概都是。 我是说希望它们会创造
新物理学,我认为它们必定
会创造
新技能。 就像我认为我认为我们离数字超等智能(digital super intelligence)相当近了。它大概今年
发生,假现在年
没发生,明年必定
能实现,数字超等智能定义为在任何事变上都比任何人类都智慧(smarter than any human at anything)。
Garry Tan 42:19
那么,我们如何将其引诱
向超等丰饶(Super abundance)?我们可以拥有机器人劳动力、便宜能源、按需智能(Intelligence on demand)。这是否就是所谓的“白色药丸”(White pill,指积极乐观的将来)?您在这个光谱上处于什么位置?您会鼓励在座列位
做哪些详细的事变,来让这个“白色药丸”成为现实?
马斯克 42:43
我认为最大概是一个好结果。 我猜我某种水平上赞成
杰夫·辛顿(Jeff Hinton)的看法,也许有10%到20%的毁灭(annihilation)几率。 但往好的方面看,那就是80%到90%获得美好结局的概率。 所以是
的,我再怎么夸张
也不为过。对真相(truth)的严酷服从是AI安全(AI safety)最重要的事。显然还有对人类和已知生命(life as we know it)的共情(empathy)。
Garry Tan 43:18
我们还没谈到Neuralink。我很好奇,您正在积极缩小人与机器之间的输入输出(Input/Output)差距。这对AGI/ASI(人工通用智能/人工超等智能)有多关键?一旦这个链接建立,我们是否不但能读取(Read),还能写入(Write)?
马斯克 43:38
Neuralink对于解决数字超等智能并非必须。 在神经连接年夜
范围
运用
前,它(ASI)就会发生。 但 神经连接能有效解决 输入输出带脱期制(input output bandwidth constraints)。特别是我们的输出带宽(output bandwidth)异常
低。人类一天内的持续输出(sustained output)低于每秒1比特(less than one bit per second)。以是,你知道的,一天有86400秒。 一个人一天输出的符号(symbols)超过那个数(86400个)是极其罕见的。 连续几天更是如此。 以是有了 有了神经连接接口,你可以年夜
幅进步你的输出带宽和输入带宽(input bandwidth)。 输入是指写入(write operations)年夜
脑。
我们现在有五位人类植入了 那种读取 输入的设备,它能读守信
号。你有患有肌萎缩侧索硬化症(ALS)的人,他们 完备
没有(办法本领),他们是四肢瘫痪者(tetroplegics),但他们现在能以 与拥有健满身体的人相当的带宽交流, 把握
他们的电脑和手机, 这相当酷。然后 我想在将来6到12个月,我们将进行第一次视觉植入(implants for vision),纵然有人完备
掉
明, 我们也能直接写入 视觉皮层(visual cortex) 我们已经在山公
身上实现了。
我想我们有一只山公
植入视觉设备已经三年了, 起初
分辨
率会相对较低,但长期来看会有异常
高分辨
率,并能看到多光谱波长(multispectral wavelengths)。以是 你可以看到红外线、紫外线、雷达(radar),就像获得超本领一样。 在某个时候,赛博格植入物(cybernetic implants)将不但仅是改正堕落的东西,而是 极年夜
地增强(augmenting)人类的本领,极年夜
地增强智能、感官和带宽 这这将会在某个时候发生。
但数字超等智能会在此很久之前发生,至少假如我们有 一个神经连接,我们或许能更好地观赏
AI。我猜全体
你积极的制约因素之一,跨越全体
这些不同范畴,是接触最智慧人才的机会。 是的。但,你知道的,与此同时我们有,你知道的,石头(rocks)能语言和推理(talk and reason), 它们现在大概130智商了,而且
大概很快就会超等智能。 你如何调和这两件事?比如,你知道5年、10年后会发生什么?在座的列位
该做什么 来确保,你知道的,他们是创造者(creating)而不是大概低于API线(below the API line)的人?
人们称它为奇点(singularity)是有原因
的,因为
我们不知道不久的将来会发生什么。人类智能所占的比例将会很小。在某个时候,人类智能的总和将少于全体
智能的1%。 而假如事变发展到卡尔达肖夫等级
二(Kardashev Scale level two) 我们评论的是人类智能,纵然假设生齿显著增加
,而且智能年夜
幅增强(intelligence augmentation),就像 每个人的智商都达到一千的那种情况。 纵然那样, 人类智能总和大概也只有数字智能的十亿分之一(1 billionth)。无论如何,数字超等智能的生物引诱
步伐(biological bootloader)在哪里?我想就此竣事吧,我算是好的引诱
步伐吗?
Garry Tan 47:46
我们该何去何从?我们如何从这里出发?我是说,全体
这些都是相当狂野的科幻情节,但也大概由在座的列位
制作出来。你知道的,假如你 你对这一代最智慧的技能人才有什么竣事语?他们应当
做什么?他们应当
应当
从事什么?应当
思索什么, 今晚他们去吃晚饭时该想些什么?
马斯克 48:19
就像我开首
说的,我认为假如你在做有用的事,那就很棒。 假如你只是积极对你的同胞尽大概有用,那那你就是在做功德。 我不停夸张
这点,专注于超等真实(super truthful)的AI,这这对AI安全最重要。 你知道的,显然假如你知道 谁有兴趣在xAI工作,我是说,请请告诉
我们。 我们的目的是让Grok 成为最年夜
限度追求
真相(maximally truth seeking)的AI。 我认为这异常
重要。 希望我们能明白宇宙的本质。这这年夜
概就是AI能告诉
我们的。也许AI能告诉
我们外星人在哪里,以及你你知道宇宙是如何真正开始的?它将如何终结?有哪些我们不知道应当
问的题目? 我们是在模拟中(simulation)吗?或者我们在哪个层级的模拟中?
Garry Tan 49:28
我想我们会找到答案
的。一个NPC(非玩家脚色)。埃隆,异常
感谢你参加我们。