作者/安信元宇宙钻研院院长、腾讯科技《AI未来指北》专栏作者 焦娟

编辑/腾讯科技 郭晓静

9月11日，一份摩根士丹利的研报引爆市场，研报以为特斯拉Dojo超级计算机将为特斯拉带来高达 5000 亿美元（约合人民币 3.6 万亿元）的市值增幅。

依据研报，Dojo为特斯拉带来的市值增幅关键起源于两个方面：首先是间接老本的降落，Dojo可以为特斯拉节俭包括算力老本在内的高达65亿美元的老本。另外就是潜在增量和构想力，Dojo将减速特斯拉智能驾驶技术以及人形机器人的研发，这将为其在10万亿美元的潜在市场中，占据极高的份额。

Dojo在2021年8月的特斯拉AI Day上初次亮相，它的意义关键是处置少量视频数据，以撑持特斯拉的智能驾驶业务以及智能驾驶系统（FSD)的更新迭代。往年七月，马斯克在特斯拉财报会议上宣布Dojo曾经开局落地投产，用于训练智能驾驶AI大模型，同时也在思索向其它汽车厂商授权其FSD配件和软件，并方案到明年，在Dojo上投入超越10亿美元。

当初，Dojo的意义曾经不只仅在为自有的智能驾驶训练提供算力允许，更有以下几层意义：

①Dojo的面前，特斯拉正在成功的端到端打破、“决策”层面的打破。

②特斯拉之前领有基于英伟达GPU的大型超级计算机，该超级计算机是环球上功能最强的超级计算机集群之一，Dojo的投产有助于缩小特斯拉对英伟达的依赖。

③除了智能驾驶，Dojo还可以为人形机器人Optimus提供算力允许，拓展运行边界至机器人畛域。

④Dojo让特斯来从“汽车公司”还是“科技公司”的争议中彻底走出，充沛证实自己是一家科技公司。

一、Dojo对特斯拉来说的意义是什么？

在2022年的AI Day上，特斯拉Dojo团队的关键成员这样说：“从实质过去讲， 特斯拉是一家硬核科技公司，超算是咱们想做的 ，咱们有那么少数据须要启动相应的训练就须要有十分强的算力，算力是十分关键的，可以说算力是训练的基本，假设没有算力，那训练就是十分难执行的，或许训练效率十分低。”

特斯拉智能驾驶自研方案阅历了四次关键迭代，以后构成了“BEV+Transformer+时空序列+占用网络”的外围架构。 特斯拉智能驾驶方案早期由供应商 Mobileye 提供，2016 年双方中断 协作后，特斯拉阅历了与英伟达持久协作后，转向全栈自研，从技术落后到引领行业开展， 特斯拉的技术方案关键阅历了以下四次关键的技术迭代更新：

1、2018 年构建了多义务学习神经网络架构 HydraNet，相较于此前繁多指标检测遵照一个通用的网络结构，HydraNet 能够成功多头共用的义务，缩小重复计算；

2、2020 年特斯拉团队对底层代码启动重写及网络重构，引入了 Transformer 的架构，将 2D图像还原至 3D 视角，使得智能驾驶方案环境感知的才干有了质的飞跃，BEV+Transformer的架构处置了行车环节中大少数共通的场景，但驾驶的安保性仍遭到很多长尾场景的应战；

3、2021 年至今特斯拉 BEV+Transformer 架构输入的 3D 空间基础上经常使用视频消息作为训练模型的数据集，引入了时序消息，使 3D 空间转化为 4D 空间，这样能够很好的处置物体、行人被遮挡的场景；

4、2022 年 AI Day 上特斯拉引入了占用网络，环境中的物体不可用模型穷举成功识别，占用网络经过将空间宰割为体积不等的体素，预测其能否被占用，从而处置通用阻碍物的识别疑问。

在这四次关键的自我迭代中，特斯拉搜集了少量的数据，数据源包括车辆采集数据、仿真数据、影子形式三种，其中：自车辆采集数据是特斯拉自有车队及量产发售给用户的车辆上的摄像头实时采集的数据，是特斯 拉训练模型的关键数据起源；仿真模拟数据是为了补充经过车端摄像头所不可采集到的长 尾数据，以尽或许补全模型训练时所或许遇到的场景；影子形式，指特斯拉的智能驾驶模 型部署到车端后在后盾运转，其执行输入与驾驶员操作时的不分歧数据，这局部数据作为很宝贵的意外数据用于为模型纠偏，协助模型训练结果愈加类人。

最终，特斯拉失掉了少量、廉价、品质高且具有多样性，构成了其最外围竞争的竞争壁垒。 依据特斯拉 2022 AI Day 上披露数据，特斯拉将这些有价值数据依照场景种类启动存储，训练数据集到达 23.2 万帧，验证数据集到达 0.38 万帧。

处置如此宏大的数据，弱小且可控的算力撑持十分关键。 在智能驾驶方案中触及云端与车端算力， 其中云端算力关键用于训练大模型， 包括感知、决策布局及管理算法模块，同时还须要训练离线大模型作为标注数据的工具以及启动仿真模拟训练，在训练模型时由于须要始终调整参数， 造成算力的需求十分大，而且关于并行算力的要求会较高；车端模型是对曾经在云端成功训练的模型启动部署， 模型参数曾经固定，仅对摄像头号传感器采集的数据启动运算即可， 对算力的消耗相对较小。

在特斯拉的配件迭代上，在 HW1.0 时代，特斯拉驳回了来自Mobileye 的 EyeQ 系列芯片。进入 HW2.0 时代，特斯拉找到了英伟达作为 Mobileye 的代替， 驳回定制版的英伟达 Drive PX2 智能驾驶计算平台（由 1 颗 Tegra Parker 芯片和 1 颗 Pascal 架构 GPU 芯片构成）。起初又更新为 HW2.5，参与了一颗 Tegra Parker 芯片。 但无论是 Mobileye还是英伟达，都不可满足特斯拉关于功能、研发进度、老本、功率方面的要求。 而且随着配件量产出货所推进的算力需求增长，芯片供应链安保关于特斯拉的关键性愈发凸显， 2016 年前 AMD 首席架构师 Jim Keller 参与特斯拉，任职 Autopilot 配件工程师总裁，特斯拉开局走上芯片自研之路。

特斯拉在 2021 年颁布 D1 芯片及 Dojo 超级计算机，详细的参数规格如下：

1）D1 芯片：制程工艺是 7nm，由台积电代 工， 设计参数为 645 平方毫米面积、500 亿个晶体管、11 英里的外部走线、400W TDP （Thermal Design Power 热设计功耗，指反常上班环境的负载功耗），单颗芯片有 354 个节 点，成功了超强算力和超高带宽；

2）Dojo POD 云端机柜：每个 Dojo 都集成了 120 个训练模块，单个训练模块蕴含 25 个 D1 芯片内置 3000 个 D1 芯片，领有超越 100 万个训练节点，算力到达 1.1EFLOP，相邻芯片之间提前较低，配合特斯拉自创高宽带、低提前的衔接器，是环球上数一数二的超级计算机。

全体来看， 特斯拉的芯片只管距离英伟达仍有必定差距，但得益于自身业务体系对AI 需求阅历，其产品在 AI 训练运行上仍极具竞争力。

目前特斯拉经常使用的是基于英伟达芯片的超算集群，相当于 14000 块 A100 的算力。依据特斯拉首席工程师 TimZaman 对外表示，他们的计算集群仅有 0.3%的闲暇时期，其中 84%的时期都在处置高优先级的义务，因此急需更多计算资源。

2023 年 7 月特斯拉 Dojo 正式投产，到2024年2月，特斯拉算力规模将进入环球前五， 10月总规模将到达100 Exa-Flops ，相当于30万块英伟达A100显卡的算力总和。 （Tesla AI Day）不过，摩根士丹利指出，目前无关Dojo的数据均起源与特斯拉自身的宣传资料，因此实践状况依然有待验证。

在车端，以 HW3.0 提供 144TOPs 为主，估量未来将进一步提高算力。特斯拉配件体系至今迭代四版至HW4.0，从 2019 年颁布的 HW 3.0 经常使用的是特斯拉自研的 FSD 车端芯片，2019 年上线的第一 代 FSD 芯片由三星代工，制程为 14nm， 2023 年曾经更新为 7nm 芯片。算力方面，单颗芯片 72TOPs，2 颗芯片算力共 144TOPS。

对比国际智能驾驶车企的算力芯片，目前较为干流的是 NVIDIA Orin 芯片，其单芯片算力曾经到达 250TOPS，而且假设未来决策布局模型化，或许占用更多的算力，因此配件版本更新或许会给到更多的算力，来保障必定的配件功能冗余以允许后续模型才干的迭代更新。

总结来说，基于特斯拉智能驾驶的迭代，围绕基于视觉的主门路，特斯拉Dojo也在始终迭代。在V12版本的感知层面，从数据采集端到车端，所有汇合为一个大模型启动训练，Dojo的面前，特斯拉在成功端到端的打破。然而目前， Dojo还没有到最弱小的形态，当智能驾驶的决策层也开局用大模型启动训练，这样会用到更大的算力，到那个时刻，Dojo的才干会失掉下一个跃升。

二、基于特斯拉智能驾驶FSD和Dojo撑持，特斯拉人形机器人成为最具构想力的智能配件

与现无机器人不同， 特斯拉人形机器人以智能驾驶 FSD 为撑持，实时取得环境消息并启动决策布局，最终输入执行指令，构成了“感知-决策布局-静止管理”的实时交互反应机制。 为了增强机器人的普适性， 将其设置为人形，是由于理想物理环球是基于人的视角、交互习气所设置的，驳回人形能够 第一视角了解环境场景。

从 2021 年 8 月特斯拉在其首届 AIDay 上初次公展开现人形机器人的概念机 TeslaBot 至今，其研发迭代速度十分快：

✓ 2021 年 8 月，首届 AIDay 公展开现人形机器人概念机 TeslaBot；

✓ 2022 年 2 月，推出人形机器人原型机，并作为开发平台启动深度研发；

✓ 2022 年 8 月，第二届 AIDay，展理想体版自己形机器人，可以直立行走、浇花、搬运物品等，但灵敏度相对较低，高低舞台时须要必定的人员协助；

✓ 2023 年 5 月，特斯拉 2023 年投资者大会颁布人形机器人最新研发停顿，其曾经学会了缓慢前行。

人形机器人与智能汽车实质上都是具有实时感知才干的智能交互配件，可以间接复用智能驾驶模型及数据体系。智能驾驶为人形机器人搭好了“场”，人形机器人可以复用的局部包括：1、感知模块的 4D 重建、占用网络；2、数据及智能标注工具；3、仿真模拟环境； 4、共享弱小的云端算力设备及芯片才干。

在以上可复用的局部，只要要针对人形机器人场景采集相应的数据训练即可，不存在技术性的难度，难度在于上班量的积攒。 两款产品的不同是由于所处的场景及面对的义务不同造成规控体系差异，特意是机器人高达 200 多个自在度造成其规控愈加复杂，然而智能驾驶所积攒的上班是地基，0-1 的上班很难，而扎实的基础将使 1-10 的上班减速迭代。依据 2023 年股东大会下马斯克泄漏消息， 特斯拉曾经买通了FSD 和机器人的底层模块，成功了必定水平的算法复用。

智能驾驶汽车出货量增长使得以后特斯拉超算中心到达了较高的占用， 而人形机器人的感知、规控模型均比智能驾驶更复杂，或许在训练时期消耗更多的算力，因此对特斯拉目前的超算中心的算力提出了更多要求。Dojo 的推进进度，也将对人形机器人的进度形成比拟大的影响。

三、海外公司中，只要特斯拉，真正适宜中国企业当下去学习

关注特斯拉Dojo，还有一个算力、算法、数据的国际外对比的视角：

海外的算力相对国际短缺得多，格式只管明晰但仍将演出“逾越与被逾越”的传奇故事，NVIDIA也不会是永远的霸主；国际的算力由于妇孺皆知的要素，则相对是最大的短板；海外的算法先进，且从来格式明晰；国际的算法有必定的根基，格式也相对清朗，集中在龙头及一般守业公司；海外的数据结构化水平高；国际的数据结构化仍存在开展机会。

特斯拉在上述算力、算法、数据三维度的框定下，在海外泛滥公司中，相对不凡：

1）最有长处的反而是结构化数据——智能驾驶引领环球，所采集、结构化处置的数据自成一派，且长处愈发凸显；

2）特斯拉在算法上并无冷艳之处，贵在耐久保持去做正确的事；

3）算力相对算弱势，曾一度夹缝中（卡脖子中）继续优化，自研芯片已打破且逐渐监禁，Dojo的面前，关乎特斯拉算力的继续监禁，但更关键的与智能驾驶的V12版本、端到端的越阶无关——端到端的越阶成功后，特斯拉将全力聚焦于“决策”层面的模型打破，也象征着“数据采集”层面已阶段性“登顶打破”，“决策”层面再打破后，智能驾驶将正式走向成功。

算力、算法、数据的国际外对比的视角，引申进去3个关键论断：

1）Dojo的面前，特斯拉正在成功的端到端打破、“决策”层面的打破；

2）智能驾驶的FSD算法，平移到人形机器人的AI算法中，再优化改善（关键在运行层，基础层可以共用比例较高），可减速人形机器人的产业化进程，人形机器人进入家庭c端后，又会强化特斯拉的数据长处；

3） 特斯拉的“闯关”阅历，十分符合中国企业的学习跟进——数据结构化的长处先确立、算法上瞄准正确方向再精进、算力上养精蓄锐攻克“卡脖子”：

数据及标注体系上，特斯拉上游之关键，已树立弱小自迭代体系——特斯拉智能驾驶方案的数据源包括车辆采集数据、仿真数据、影子形式三种。数据标注已从2D走向4D标注，标注效率大幅优化——在4D向量空间中可以对建模后的场景启动拖拽、旋转等数字化的操作，为智能标注打好了基础。数据结构化是国际的机会之所在，特斯拉的阅历值得对齐。

目前国际车企的智能驾驶方案，正陆续对齐特斯拉的方案，特斯拉在并不冷艳的算法上，常年、继续保持优化迭代下去。

算力之于特斯拉，过去、当下、未来均需继续打破：先自研（值得国际自创）、再优化符合“决策端”模型训练的需求（Dojo当下正在被关注的根源之所在）、再继续高要求以符合人形机器人这一难度系数优化的产业化进程的需求。