文 | 极智 Gee Tech

城市 NOA，自动驾驶进化之路上的要害节点，也被视为智能汽车下半场的开首。

自 2023 年上海车展以来，筹谋城市 NOA 的阶梯之争逐渐显豁，"重感知 + 轻舆图"、借助纯感知和剖释感知阶梯、以及 BEV+Transformer 模子的智能驾驶责罚决策，成为业界共鸣。

如今，城市 NOA 迈向贸易化落地竞争，怎样运用高效的算力守旧、完善的算法模子、大量有用的数据变成闭环，是大范畴量产的要害。

数据成为高阶智驾"稀缺品"

在智能驾驶范畴里，数据就是生命之源。没罕有据，那些复杂的算法和模子就如同干涸的河流，无法柔润出智能的果实。

端到端期间让数据的紧要性空前普及。在传统基于章程的算法期间，工程师将怎样履行驾驶举止凝炼就为章程写入自动驾驶算法，当模子出现问题时，修改或添加新的章程即可完成对问题的树立。

而对端到端自动驾驶算法而言，模子只和会过驾驶的视频片断学习驾驶举止和对环境的意会，因此怎样将东说念主类念念要让模子学习到的内容赋予到数据中，并让模子在覆按中能够学习这些先验常识难度较高。因为每个东说念主类驾驶的视频片断其实都包含丰富的驾驶举止，让模子意会到这些视频片断中的某一种详尽化的先验常识（如左转让直行）并退却易。

端到端技能的中枢在于通过大量数据覆按模子，使其能够识别和预测各种驾驶场景。高质地数据的输入，平直决定了模子输出的准确性和可靠性。这些数据不仅需要涵盖各种说念路条款、天气变化和交通情况，还要确保其标注的准确性和各种性。

传统模块化算法需要改变适度战略时，不错找到代码中具体的几行参数修改，之后测试 1% 的案例即可，而端到端的算法中，小的篡改需要从头对自动驾驶算法进行覆按，难度可念念而知。因此，海量的、各种化的、优质的数据不可或缺，同期自动化、高水平的数据处理体系亦至关紧要。绝不夸张地说，数据会占据端到端自动驾驶开采中 80% 以上的研发老本。

从数据维度看，海量且优质的数据正成为自动驾驶行业的"稀缺品"。频繁，激光雷达的算法要骄贵自动驾驶的性能要求，需要至少几十万帧的数据覆按。单目次像头要求更高，需要百万帧的覆按数据。不外这两者和 BEV 决策比起来，差距仍然十分广博。

自动驾驶选择的 BEV 感知决策，需要达到 1 亿帧以上的覆按数据才能骄贵车规要求，不然泛化性、准确率和调回率就难以保障。

关于端到端算法而言，数据的需求激增，何况随同模子体量的加多而扩大；对证地的要求也权臣提高，各种性和丰富度不可或缺。

以特斯拉为例，马斯克曾暗示，特斯拉 FSD 测试里程需要达到 60 亿英里，才能骄贵众人监管机构的要求，这亦然自动驾驶系统竣事质变的一个紧要节点。

据《马斯克传》中态状，神经鸠合至少得进过 100 万个视频片断的覆按才能达到风雅的职责状态，而特斯拉到 2023 年头依然分析了从特斯拉客户车辆上收罗的 1000 万帧视频画面，这其中，特斯拉还会挑选出东说念主类优质司机所选择的举止来给模子进行覆按。

2024 年 5 月，在责罚了算力瓶颈之后，马斯克暗示更大的难点在于对长余数据的收罗。现时，特斯拉通过连接扩大 FSD 功能遮掩更大范畴的用户数目。2024 年第一季度，特斯拉 FSD 真实路况总里程已达 12.5 亿英里（约 20 亿公里），这一数字远超其他公司总和。特斯拉方面展望，按照现时的速率，FSD 累计行驶里程有望在一年之内达到 60 亿英里总量。

由此不错看出，要念念达到特斯拉的自动驾驶水准，海量、各种化、高质地的数据是首要前提。

"数据闭环"要害点

怎样得到大范畴数据，得到之后怎样有用回传、标注以及覆按，并最终 OTA 反馈到车端，是数据闭环的中枢任务，亦然大多数车企垂死念念要领有的才气。

数据闭环并非新成见，互联网期间早期即有时时应用。一个相比典型的例子即是各种软件、App 的"用户体验纠正谋略"。

用户在初度翻开一款软件时，常常会弹出选项"是否加入用户体验纠正谋略"。点击详情后，软件就会收罗用户的使用信息。在出现崩溃、Bug 等场景下，软件还会弹出信息，征询"是否允许上传本次崩溃信息以匡助纠正"，比如 Windows 出现的各种失误禀报。

点击提交后，软件开采商的工程师们会分析失误禀报，以找出出现崩溃、Bug 的原因，进而修改代码并不才次更新后给以责罚。

用户在使用过程中遭受的所有问题均不错通过此种神气责罚，盛极必衰，连接优化软件性能与使用体验，这就是一种传统的数据闭环。

自动驾驶系统的研发与优化，与传统软件开采存在好多不同。

传统软件更多是在代码端责罚各种问题，但自动驾驶系统除代码除外，还有更为要害的 AI 模子。代码端的问题不错通过传统的数据闭环神气给以责罚，但模子端的出动则需要从头覆按或优化 AI 算法模子。

因此，自动驾驶数据闭环需要在传统数据闭环神气上，引入一些新东西，比如数据标注、模子覆按、算法调试等。

在数据采集门径，收罗充足多的交通数据并非易事。采集数据分为两种，一种是靠研发采集车。小鹏、华为在起步阶段，均是靠这种神气得到数据。另一种是通过量产车得到数据，这是在数据范畴上来后的主流神气。

早年自动驾驶企业大多依赖采集车采集数据，这种数据是不真实的、散播有偏的、低质地的，只可作念个 Demo，难以进行大范畴端到端覆按。最近几年，跟着量产车的范畴化落地，业界好多公司都运行转向选择量产车通过影子模式采集数据，但这种模式依然濒临劳苦的挑战。

这内部包含采集战略的问题，即怎样均衡数据的长尾问题（有用性）和数据的范畴问题（老本）。如果采集战略相比宽松，常常采集的数据大部分是无价值数据；如果采集战略过于严格，又会丢失大量有价值的数据。

其次是数据的质地问题，怎样界说数据质地是个劳苦的产物问题，怎样精确地挑选出遮掩充足多顶点情况的高质地数据又是一个复杂的技能问题。

之后是数据散播问题，怎样从海量的数据片断中索求有用的特征、怎样统计数据的散播、应该探讨哪些维度，都需要大量的职责。

在数据回传门径，在数据量卓越大的时候，数据回传的老本会终点高。

单车逐日回传的数据量未必为百兆级。在研发阶段，车辆总额可能唯有几十辆或者几百辆，然而到了量产阶段，车辆数方针量级不错达到上万、几十万以至更多。那么，量产阶段，所有这个词车队日产生的数据量就是很大的数字。某造车新势力每个月仅用来作念数据回传的流量费就高达"大几千万"。

另一方面，急剧加多的数据量还给存储空间以及数据处理的速率都带来了挑战。

量产之后，数据处理的蔓延需要和研发阶段保握在销毁个量级。但如果底层的基础设施跟不上，数据处理的蔓延就会跟着数据量的增长而相应地加多，这么会极地面拖慢研发经由的进程。关于系统迭代来讲，这种效果的镌汰是不可接纳的。

在数据标注门径，天然大模子的应用不错让高达 80% 的数据标注不错通过自动化的神气来完成，但还有至少 20% 波及复杂场景、多指标、语义复杂的数据需要由东说念主工来完成"精标"。

以往需要标注的数据主如若前视录像头数据，2D 标注框 +3D 位置就依然是标注的一都内容了；如今在 BEV+Transformer 决策下，所有关系的录像头看到的所有进犯物、车说念线、车辆的开通状态都需要对应的标注，何况还要转圜在销毁坐标系下，还有大量的语义信息也需要标注。

多数公司在数据标注门径都会依靠"东说念主海战术"，依靠东说念主工一个个地对采集追思的数据作念场景分类，职责量远超念念象。一般的检测框，一分钟的内容，标注需要一小时左右；点云分割，一分钟的内容，标注需要几个小时；但对更复杂的任务作念 4D 标注，可能一分钟的任务需要花逾越一天时刻才能完成。

后头如果要作念端到端的算法覆按，在给这一帧的内容打标签时，还得探讨该标签怎样跟其他帧的内容作念关联。

总体趋势是，自动驾驶行业对标注的要求越来越高了，这意味着，参加到一分钟视频上的标注老本也随之情随事迁。如果标注的末端不准确、不齐全，那基于这些数据覆按出来的模子的性能就会受到影响。

此外，在数据收罗和处理的过程中，秘密保护是一个退却漠视的问题。自动驾驶车辆在运行过程中，可能会捕捉到行东说念主的样子、车招牌码等明锐信息。怎样保护这些个东说念主秘密，幸免数据败露和糜掷，是每个自动驾驶企业都必须严肃对待的问题。

对大部分自动驾驶企业，还会濒临严重的数据泛化问题，因为不同的车型传感器配置相反广博，采集的数据常常难以复用，而国内车企普遍车型开阔，终末很可能是采了一堆数据放在那没法使用，看起来是数据钞票，其实都是存储老本。

"华山一条路"的技能新旅途

在数据闭环体系中，仿真技能无疑长短常要害的一环。仿真的首先是数据，而数据又分为真实数据与合成数据。跟着真实数据"范畴小、质地低、使用难度大"等问题日渐炫耀，合成数据越来越受宠爱。

在国内，天然各家主机厂依然不缺真实数据，但这些数据的运用率究竟有多高，仍然存在很大疑问。同期，如果用真实数据用来作念仿真，有个很严重的痛点——复用性差。

比如，在作念路采的时候，车辆的芯片平台、传感器架构及制动系统是怎样的，在仿真系统里作念测试时，车辆的这些硬件配置也必须跟路采时所用的车辆配置一致。一朝传感器的位置或者型号有变更，这一组数据的价值就镌汰，以至会作废。

事实上，真实数据的最主要问题并不是"太少"，而是质地低，使用难度大、复用性差，而这恰合也就是合成数据的用武之地。

合成数据（Synthetic Data）就是通过计较机技能生成的数据，而不是由真实事件产生的数据。但合成数据又具备"可用性"，能够在数学上或统计学上反应原始数据的属性，因此也不错用来覆按、测试并考据模子。OpenAI 的 GPT-4，就选择了大量前一代模子 GPT-3.5 出产的数据来进行覆按。

Gartner 预测，到 2024 年用于覆按 Al 的数据中有 60% 将是合成数据，到 2030 年 AI 模子使用的绝大部分数据将由东说念主工智能合成。

合成数据最早于 1993 年由统计学家唐纳德 · B · 鲁宾（Donald B. Rubin）提倡，现时被时时援用，并在金融保障、医疗制药、汽车制造、零卖、自动驾驶等范畴都有或深或浅的应用。

合成数据的产生旨趣，很大程度上在于模拟真实数据的散播特征和统计特质，再通过生成模子创建新的数据集，用来提拔真实覆按数据样本不及或使用受限情况下（如数据明锐或秘密保护）的模子覆按、测试和开采。

广义上，因为合成数据保留了和真实寰球数据疏导的结构或散播，却不包含原始信息，是以主要被用来代替原始数据用于模子覆按和卑鄙任务。

不外在推行应用中，出于数据可用性或真实场景数据对强化模子泛化才气的探讨，也有东说念主基于原始数据样本，通过部分合成的神气（比如运用‌数据填补的方法替换底本的明锐和要害字段，进行局部数据的合成），生成相应的合成数据。是以，在有些分类中，合成数据又包含一都合成、部分合成、混用多种时势。

现时，合成数据在模子覆按和数据集增强等场景，尤其在对都阶段深度的模子覆按中阐扬着紧要作用。

跟着合成数据越发受到宠爱，技能东说念主员也在握续立异数据合成的方法。从推行使用看，现时主要通过以下神气进行合成数据。

赶紧采样生成。字据现实寰球数据中不雅察到的统计特质（如均值、方差、关系性等），赶紧生成数据。这种合成方法相比基础平直，合适绵薄的数据集生成，但面对高维复杂的数据，则存在一定的局限性。

基于特定范畴章程生成。基于数据集预界说的章程和箝制，手动或半自动生成合成数据。这种神气生成的数据，能保握与现实寰球复杂场景的一致性，使得生成的合成数据具有一定可证据性，但这种方法在具有较着王法或章程时才较为有用。

运用深度学习方法生成。主要阐发时运用生成顽抗鸠合（GAN）、变分自动编码器（VAE）等生成合成数据。比如视频生成模子 Sora 就选择了生成顽抗鸠合（GAN）来生成合成数据。在这过程中，生成器端庄基于原始数据合成图像，鉴识器端庄将原始图像和合成图像划分，当顽抗机制达到均衡，就能生成与真实寰球图像特征终点通常但又有所区别的合成图像数据。

变分自动编码器（VAE）则是运用无监督算法，通过编码器（数据降维）息争码器（数据重构）的伙同，在原始数据基础上生成新的数据。两者都是合成多模态数据的有用神气。

运用合成数据器具生成。比如运用 Python、Scikit-learn、Datagen、Mostly AI 等数据合成器具软件、机器学习库，针对性生成相应的合成数据。现时也不错平直运用 GPT 等大谈话模子，通过指示词辅导，进行数据增强和造谣数据的合成。

除此之外，通过对现存数据样本进行变换、引申、匿名等生成更多的覆按数据样本，即选择增强数据、匿名数据等神气合成数据也相比常见。仅仅这种更多属于部分合成数据，真实数据特质保留度高，各种性、丰富性方面也会有一定影响。

合成数据在自动驾驶范畴的一大应用是关于顶点情况的模拟。大量的顶点情况在真实发生前莫得东说念主能先见，属于"预期功能安全"第三象限内部的" Unknown，Unsafe "一类，是以无法在真实说念路上进行模拟。这类情况，无法通过基于东说念主工章程的合成数据（WorldSim）来生成，也没法通过对真实寰球作念 3D 重建的技能（NeRF）来生成，但有望通过基于 AIGC 的合成数据来得到。

有些顶点情况尽管东说念主们能念念象得到"未必会怎样"，但毕竟太危境，是以也不合适在真实说念路上作念模拟。这种顶点情况无法通过 NeRF 技能来生成，但不错通过合成数据来生成。有些顶点情况，算不上有何等不安全，但也会影响到交通安全，比如雨、雾、雪和顶点光辉等顶点天气跟某种顶点交通流的组合，这些也需要通过合成数据技能来生成。还有许多顶点情况，在真实数据中的密度太低，挖掘老本太高，这个时候采用合成数据即是最恋战略。

有了合成数据，主机厂或自动驾驶公司便可在几小时内模拟数百万个顶点情况，这些模拟可能涵盖不同照明条款、指标位置和恶劣环境下的示例，或者不错插入赶紧噪声来模拟脏污的录像头、雾水和其他视觉进犯物。

此外，真实数据由于高度受制于采集场景的铁心，是以顶点情况在样本的散播上也很难有用骄贵算法的需求。而合成数据，不错有针对性地生因素布景色更骄贵覆按需求的顶点情况，这更有助于普及算法的性能。

如今，数据对自动驾驶产业的驱能源依然成为每一位玩家绕不开的要害。完备的闭环模子需要大范畴、高质地、多场景的数据，高算力、高效果、相对低老本的算法模子，趋向自动化的数据标注与处理，高速率、低老本的传输速率与存储模式，再加上安全合规的添砖加瓦，在数据的喂养下飞轮连接轮回上前，竣事自动驾驶的握续进化。

数据闭环的每一步推动都是老本和效果的博弈，每一次博弈都是科技感性与价值感性的剖释，每一场剖释也将势必需要高卑鄙企业数据分享、技能开源、生态共建。而数据闭环亦然竣事城市 NOA 和更高等别智驾的"华山一条路"，在这条路上，不错慢、不错错官方，但独一不行不上山，不然就会被渐忘在山眼下。