万字长文详解自动驾驶汽车技术：从感知、定位、处理规划到执行

导读：

本文由Vehicle授权发布，作者为Pirate Jack。

大家都清楚自动驾驶的几个步骤：感知、定位、处理规划和执行，但背后的技术原理鲜为人知，本文详细的介绍了这几个步骤最新的技术方案和细节。

插播下公开课预告：9月15日晚7点，NXP汽车部门资深市场经理余军苗将直播讲解利用车辆网络处理器S32G实现服务型网关。扫描文章底部的海报二维码或添加小助手睿睿（ID:zhidxclassai)即可报名。

自动驾驶技术的等级应该是大家都很明白（如果不明白也可以看我们之前文章秒懂自动驾驶级别分类，附加专业版本），也有很多人清楚自动驾驶的几个步骤，感知，处理规划，执行，但是鲜有人明白后面的技术原理，最近看到一篇Wevolver发布的2020年自动驾驶汽车技术报告 - 自动驾驶汽车硬件和软件最新技术的指南。还是比较形象生动的描述出自动驾驶背后最新的技术方案和细节。

由于这份报告篇幅巨大，所以我们打算分三部分来分享，第一部分为感知地图，第二部分为处理规划学习执行，第三部分为客户体验和互联。本文为第一部分，希望能给大家一些启发和科普。

1

感知 Sensing

自动驾驶的需要满足的环境是动态的公共环境，所以自动驾驶车辆需要和人类一样能够感知周围环境，对自身进行定位，所以感知周围环境是自动驾驶的定位和构建地图的先决条件。

环境制图

自动驾驶车辆感知周围环境，就是采用传感器，一般传感器分两大类，一种是主动传感器另外一种是被动传感器，被动传感器检测环境中物体反射的现有能量，如光或辐射，而主动传感器则发送自己的电磁信号并感知其反射。这些传感器其实已经在1级或2级的汽车产品中已经有应用，例如用于车道保持辅助。

被动传感器

通俗的摄像头就是被动传感器，目前在数字图像和视频中的广泛应用，基于摄像机技术的被动传感器是最早应用于自主车辆的传感器之一。数码相机依靠CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）图像传感器，通过将在400-1100纳米波长（可见光到近红外光谱）中接收到的信号转换成电信号来工作。

传感器的表面被分解成像素，每个像素可以根据在该位置累积的电荷量感测接收到的信号的强度。通过使用对不同波长光敏感的多个传感器，颜色信息也可以在这样的系统中编码。

虽然CCD和CMOS传感器的工作原理相似，但它们的实际工作情况不同。CCD传感器将电荷传输到芯片的特定角落进行读取，而CMOS芯片中的每个像素都有自己的晶体管来读取与光的相互作用。CMOS中晶体管与传感器元件的共置降低了其光灵敏度，因为传感器与光相互作用的有效表面积减小。

这导致CMOS传感器对噪声的敏感度更高，使得CCD传感器能够产生更高质量的图像。然而，CMOS传感器的功耗比ccd低100倍。此外，他们更容易制造使用标准硅生产工艺。目前大多数用于自主车辆的传感器都是基于CMOS的，分辨率为100-200万像素。

虽然被动CMOS传感器通常用于视觉光谱，但同样的CMOS技术也可用于在780nm至1mm的红外波段工作的热成像相机。它们是探测热物体（如行人或动物）和峰值照明情况（如隧道末端）的有用传感器，在这种情况下，视觉传感器将被光强度遮挡。

在大多数情况下，车辆上的被动传感器套件由多个指向同一方向的传感器组成。这些立体相机可以通过叠加来自不同传感器的图像来拍摄物体的三维图像。立体图像可用于测距，这对自主车辆应用非常重要。

被动传感器的主要优点是：

• 在整个视野范围内的像素和颜色的高分辨率。
• 视野范围内的恒定“帧速率”。
• 两台摄像机可以生成三维立体视图。
• 缺少发射源会降低来自其他车辆的干扰可能性。
• 技术成熟，成本低。
• 这些系统生成的图像便于用户理解和交互

特斯拉就是采用摄像头方式获取周围信息，总部位于伦敦的初创公司Wayve声称，其仅依靠被动光学传感器的汽车在城市中使用是足够安全的。被动传感器的主要缺点

• 弱光或恶劣天气条件下的性能和适应性较差；
• 每秒生成0.5-3.5GB的数据，数据量大。

如果在自动驾驶汽车上使用被动摄像头传感器套件，它可能需要看到汽车的整个周围。这可以通过使用以特定间隔拍摄图像的旋转相机，或通过软件将4-6个相机的图像拼接在一起来实现。此外，这些传感器需要100dB以上的高动态范围（在场景中对高光和暗阴影进行成像的能力），使它们能够在各种光照条件下工作并区分各种对象。

动态范围以（dB）为单位进行测量；描述比率的对数方式。人类的动态范围约为200分贝。这意味着在一个场景中，人眼可以感知到比最亮的色调暗约1000000倍的色调,当然现在摄像头在进步。

主动传感器

主动传感器主要依靠信号的飞行时间（ToF）原理感知环境。ToF通过等待信号的反射返回来测量信号从源到目标的传播时间。

所用信号的频率决定了系统所用的能量及其精度。因此，确定正确的波长对于选择使用哪种系统起着关键作用。

超声波 - 使用超声波进行测距，是迄今为止这些系统中最古老、成本最低的。由于声波在所使用的传感器中频率最低（波长最长），因此更容易受到干扰。这意味着传感器很容易受到恶劣环境条件的影响，如雨水和灰尘。其他声波产生的干扰也会影响传感器性能，需要使用多个传感器并依赖其他传感器类型来减轻干扰。此外，随着距离的增加，声波会失去能量，此传感器仅在短距离（如驻车辅助）时有效。更新的版本依赖更高的频率，以减少干扰的可能性

雷达 -（无线电探测和测距）使用无线电波进行测距。无线电波以光速传播，具有电磁频谱的最低频率（最长波长）。雷达信号特别容易被具有相当大导电性的材料（如金属物体）反射。来自其他无线电波的干扰会影响雷达性能，而发射的信号很容易从曲面上反弹，因此传感器可能对此类物体视而不见。同时，利用无线电波的反射特性可以使雷达传感器“看到”它前面的物体以外的物体。雷达在确定被探测物体形状方面的能力不如激光雷达

总的来说，雷达的主要优点是它的成熟度、低成本和对低光和恶劣天气条件的适应性。然而，雷达只能探测到空间分辨率较低的目标，而且对目标的空间形状信息不多，因此很难区分多个目标或按到达方向分离目标。这使得雷达在汽车传感器套件中扮演了更多的辅助角色

成像雷达对于自动驾驶汽车来说特别有趣。与短程雷达依赖24GHz无线电波不同，成像雷达使用更高能量的77-79GHz电波。这使得雷达可以扫描100度的视野，最远可达300米。这项技术消除了以往的分辨率限制，生成了真正的超高分辨率4D雷达图像。

激光雷达 -（光探测和测距）使用脉冲激光形式的光。激光雷达传感器每秒发出50000-200000个脉冲覆盖一个区域，并将返回的信号编译成三维点云。通过比较连续感知点云的差异，可以检测到物体及其运动，从而可以创建一个范围高达250米的3D地图。

激光雷达技术方案：

• 机械扫描激光雷达使用旋转镜和/或机械旋转激光。

这种设置提供了广阔的视野，但也比较大和昂贵。

但技术是最成熟的。

• 基于微机电系统（MEMS）的激光雷达通过一个或多个微小的倾斜镜来分配激光脉冲，倾斜镜的角度由施加在倾斜镜上的电压控制。通过将机械扫描硬件替换为机电系统，MEMS激光雷达可以实现精确且节能的激光偏转，这也是经济的，不使用任何机械部件的激光雷达系统被称为固态，有时也被称为“芯片激光雷达”

• 闪光激光雷达是一种固态激光雷达，它能在一次闪光中散射激光束照亮整个场景。返回的光被一个由微型传感器组成的网格捕获。闪光激光雷达的一个主要挑战是精确性

• 相控阵激光雷达是另一种正在发展中的固态技术。这样的系统将激光束送入一排发射器中，这些发射器可以改变穿过的光的速度和相位。激光束通过从一个发射器逐渐调整到下一个发射器的信号相位而被指向。

• 超材料：一个相对较新的发展是将激光照射到动态可调谐的超材料上。这些人工构造的超曲面上的微小组件可以被动态调整以减慢激光束的部分速度，通过干涉，激光束将指向一个新的方向。由比尔盖茨（Bill Gates）资助的初创企业Lumotive声称，其基于超材料的激光雷达可以水平扫描120度，垂直扫描25度

来自相同波长光源的干扰，或由于潮湿而引起的表面反射率变化，都会影响激光雷达传感器的性能。激光雷达的性能也会受到外部光线的影响，包括来自其他激光雷达的光线。[33]虽然传统的激光雷达传感器使用900纳米波长，但新的传感器正在转移到1500纳米，使车辆能够看到150-250米外的物体。但由于激光安全方面的考虑一般会限制激光功率，这同时降低了他的能力，激光雷达缺点就是贵，昂贵，一般你看到的自动驾驶车辆上旋转的激光雷达高达数万美元，当然目前很多公司在研发降价，最新Velodyne宣布100美元就可买到60°水平x 10°垂直视野，距离为100米的激光雷达。

激光雷达优点：

• 具有相对较宽的视野，具有潜在的360度3D覆盖范围（取决于选择的激光雷达类型）。

• 与被动（光学）传感器相比，它具有更长的距离、更精确的距离估计和更低的计算成本。

在三种主要的主动传感器中，声纳由于超声波范围较低，主要用作近距离的传感器。雷达无法分辨出复杂的形状，但它能看穿雨雾等恶劣天气。激光雷达可以更好地感知物体的形状，但受周围光线和天气条件的影响较大。通常两个主动传感器系统一起使用，如果目标仅依赖于一个，则通常选择激光雷达。其次，主动传感器通常与被动传感器（摄像机）结合使用。

传感器的选择

虽然所有的传感器都有自己的优点和缺点，但没有一个传感器可以解决道路上的所有情况。车辆需要能够避开接近的物体，同时也能感应到远离它的物体。它需要能够在不同的环境和道路条件下，在具有挑战性的光线和天气条件下运行。这意味着，为了可靠和安全地操作一辆自主车辆，通常使用传感器的混合体。

以下技术因素影响传感器的选择：

• 扫描范围，决定你对被感知的物体做出反应的时间。
• 分辨率，确定传感器能提供多少细节。
• 视场或角度分辨率，决定你需要多少传感器来覆盖你想要感知的区域。
• 能够在3D中区分多个静态和移动对象，确定可以跟踪的对象数。
• 刷新率，确定来自传感器的信息更新的频率。
• 不同环境条件下的一般可靠性和准确性。
• 成本、规模和软件兼容性。
• 生成的数据量，决定了计算机处理和能耗。

自动驾驶车辆应用不同传感器比较

传感器	距离（m）	成本（美元）	数据量（Mbps）
摄像头	0-250	4-200	500-3500
超声波	0.02-10	30-400	<0.01
雷达	0.2-300	30-400	0.1-15
激光雷达	最大到250	1000-75000	20-100

当然以上比较为典型范围，不考虑极端的传感器，一般主机厂都采用主动和被动传感器混合使用例如：

• 特斯拉的s型车使用前置雷达探测道路，3个前置摄像头识别路标、车道和物体，12个超声波传感器探测汽车周围的障碍物

• 沃尔沃Uber使用顶部安装的360度激光雷达探测道路物体，短距离和长距离光学摄像机识别道路信号，雷达探测近处障碍物

• Waymo使用360度激光雷达探测道路物体，9个摄像机跟踪道路，一个雷达识别汽车附近的障碍物。

• Wayve使用一排230万像素的高动态范围RGB摄像头，并通过卫星导航自主驾驶

一旦自动驾驶车辆扫描了它的环境，它就可以找到它在道路上相对于周围其他物体的位置。此信息对于较低级别的路径规划至关重要，以避免与车辆附近的物体发生任何碰撞。

2

地理定位 Geolocalization

除此之前，自动驾驶汽车还是需要GPS等（俄罗斯的GLONASS,中国的北斗，欧洲的GALILEO）类似的全球定位系统来提供地理位置

全球导航卫星系统虽然精确，但也受到云层覆盖和信号反射等环境因素的影响。此外，信号还可能被人造物体（如隧道或大型结构物）阻挡。在一些国家或地区，信号也可能太弱，无法准确定位车辆。

为了避免地理定位问题，惯性测量单元（IMU）与系统集成。通过使用陀螺仪和加速度计，这样的单元可以外推可用数据，以便在无法获得GNSS数据时估计车辆的新位置。

在没有附加信号或车载传感器的情况下，可以使用航位推算法，其中汽车的导航系统使用车轮周长、速度和方向盘数据，根据偶尔收到的GPS数据和最后已知的位置计算位置。在智能城市环境中，可以通过向汽车提供信号的应答器；通过测量汽车与两个或多个信号的距离，汽车可以在环境中找到它的位置。

HD地图

如今，谷歌地图等地图服务被广泛用于导航。然而，自动驾驶汽车可能需要一种新的高清晰度（HD）地图，以高达两个数量级的细节来代表世界。高清地图的精度不超过1分米，可提高自主车辆的空间和上下文感知能力，并为其传感器提供冗余源。

通过对HD地图中已知目标的距离进行三角剖分，可以确定车辆的精确定位。另一个好处是，高清晰度地图包含的详细信息可以缩小车辆感知系统需要获取的信息范围，使传感器和软件主要用来应付移动物体。

高清地图可以表示车道、几何图形、交通标志、路面以及树木等物体的位置。这样的地图中的信息是以图层表示的，通常至少有一个图层包含了世界的高细节的三维几何信息，以便进行精确的计算。

挑战在于生成高清晰度地图并使其保持最新的巨大努力，以及存储和传输这些地图所需的大量数据存储和带宽。

很多人认为高精地图是自动驾驶的必要条件，但也有人不赞同:

• 根据埃隆·马斯克·特斯拉的说法，他“简单地梳理了高精度车道线（地图）树，但认为这不是一个好主意。

• 2015年，苹果公司（Apple）为一种自主导航系统申请了专利，该系统允许车辆在不参考外部数据源的情况下导航。

专利中的系统利用了人工智能能力和车辆传感器

• 另一个例子是，总部位于伦敦的初创公司Wayve只使用标准的卫星导航和摄像头。

  他们的目标是通过使用模拟学习算法来复制专家级人类驾驶员的行为，从而实现完全自主性，并因此使用强化学习从他们的人类安全驾驶员的每次干预中学习，同时在自主模式下训练模型。

• 麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员也采取了“无地图”的方法，开发了一种系统，该系统使用激光雷达传感器进行导航的所有方面，只依靠GPS进行粗略的位置估计。

3

处理以及学习 Thinking& Learning

根据自动驾驶传感器套件捕获的原始数据和它可以访问的现有地图，自动驾驶系统需要构建和更新其环境地图，同时跟踪其位置。同时定位和映射（SLAM）算法让车辆实现了这一点。一旦它在地图上的位置已知，系统就可以开始规划从一个点到另一个点的路径。

同步定位与映射（SLAM）以及传感器融合

SLAM是一个复杂的过程，因为定位需要一个地图，而定位需要一个好的位置估计。尽管长期以来一直被认为是机器人实现自主的一个基本的鸡或蛋问题，但在80年代中期和90年代的突破性研究在概念和理论层面上解决了SLAM问题。从那时起，各种各样的SLAM方法被开发出来，其中大多数使用概率概念。

为了更精确地执行SLAM，传感器融合开始发挥作用。传感器融合是将来自多个传感器的数据与数据库相结合，以获得更好的信息的过程。它是一个多层次的过程，处理数据的关联、关联和组合，能够获得比单独使用单个数据源更便宜、更高质量或更相关的信息。

对于从传感器数据到运动所需的所有处理和决策，通常使用两种不同的人工智能方法：

• 按顺序，将驱动过程分解为层次管道的组件。

  每个步骤（传感、定位和映射、路径规划、运动控制）由一个特定的软件元素处理，管道的每个组件将数据馈送到下一个组件，或者

• 基于深入学习的端到端解决方案，可以处理所有这些功能。

哪一种方法最适合于自动驾驶，目前没有定论，传统的，也是最常见的方法包括将自动驾驶问题分解成若干子问题，并用计算机视觉、传感器融合、定位、控制理论和路径规划的专用机器学习算法技术依次解决每个子问题。

端到端（e2e）学习作为解决自动驾驶车辆复杂人工智能系统挑战的一种潜在方法，越来越受到人们的关注。端到端（e2e）学习将迭代学习作为一个整体应用于复杂系统，并在深度学习的背景下得到了推广。端到端的方法试图创建一个自动驾驶系统，其中包含一个单一的、全面的软件组件，可以将传感器输入直接映射到驾驶动作。由于在深度学习方面的突破，e2e系统的能力得到了提高，因此它们现在被认为是一个可行的选择。这些系统可以用一种或多种不同类型的机器学习方法来创建，例如卷积神经网络或强化学习，我们将在本报告后面详细阐述

首先，我们将回顾如何处理来自传感器的数据，以就机器人车辆的运动做出决定。根据车上使用的传感器的不同，可以使用不同的软件方案从传感器信号中提取有用的信息。

有几种算法可用于识别图像中的对象。最简单的方法是边缘检测，即评估不同像素中光或颜色强度的变化。[69]人们会期望属于同一对象的像素具有相似的光特性；因此，观察光强度的变化可以帮助分离对象或检测一个对象转向下一个对象的位置。这种方法的问题在于，在低光照强度（比如晚上）情况下，算法不能很好地执行，因为它依赖于光照强度的差异。此外，由于这种分析必须在每个镜头和多个像素上进行，因此计算成本很高。

激光雷达数据可以用来计算车辆的运动，原理相同。通过比较在连续瞬间拍摄的两个点云，一些物体将离传感器更近或更远。一种称为迭代最近点的软件技术迭代地修正了两个点云之间的转换，从而能够计算出车辆的平移和旋转。

虽然上述方法很有用，但它消耗了大量的计算时间，并且不容易扩展到自动驾驶车辆在不断变化的环境中运行的情况。这就是机器学习发挥作用的地方，它依赖于已经学会从现有数据执行任务的计算机算法。

机器学习

目前，不同类型的机器学习算法正被用于自动驾驶汽车的不同应用。本质上，机器学习根据提供的一组训练数据，将一组输入映射到一组输出。卷积神经网络（CNN）、递归神经网络（RNN）和深度强化学习（DRL）是应用于自主驾驶的最常见的深度学习方法。

CNNs主要用于处理图像和空间信息，提取感兴趣的特征，识别环境中的目标。这些神经网络由一个卷积层组成：一组滤波器，试图区分图像的元素或输入数据来标记它们。这个卷积层的输出被输入到一个算法中，该算法将它们结合起来预测图像的最佳描述。最后一个软件组件通常称为对象分类器，因为它可以对图像中的对象进行分类，例如街道标志或其他汽车。

RNN是处理视频等时间信息的强大工具。在这些网络中，前面步骤的输出作为输入输入输入到网络中，从而允许信息和知识在网络中持续存在并被上下文化。

DRL结合了深度学习（DL）和强化学习。DRL方法允许软件定义的“代理”学习使用奖励功能在虚拟环境中实现其目标的最佳可能操作。这些面向目标的算法学习如何实现一个目标，或者如何在多个步骤中沿着特定维度最大化。尽管前景看好，但DRL面临的一个挑战是设计正确的奖励功能来驾驶车辆。深度强化学习在自主车辆中的应用仍处于初级阶段。

这些方法不一定是孤立的。例如，像特斯拉这样的公司依赖于混合形式，这种形式试图同时使用多种方法来提高精度和减少计算需求。

多任务同时训练网络是深度学习中的一种常见做法，通常称为多任务训练或辅助任务训练。这是为了避免过度拟合，这是神经网络的一个常见问题。当一个机器学习算法为一个特定的任务训练时，它可以变得如此专注于模仿它所训练的数据，以至于当试图进行插值或外推时，它的输出变得不现实。通过在多个任务上训练机器学习算法，网络的核心将专门寻找对所有目的都有用的通用特征，而不是只专注于一个任务。这可以使输出更真实，对应用程序更有用。

收集数据

为了使用这些算法，需要在表示真实场景的数据集上对它们进行训练。对于任何机器学习过程，数据集的一部分用于培训，另一部分用于验证和测试。因此，许多数据集，包括街道对象的语义分割、标志分类、行人检测和深度预测，已经被包括Aptiv、Lyft、Waymo和Baidu在内的研究人员和公司公开提供。这大大有助于推进机器学习算法的能力

收集数据的一种方法是使用原型车。这些汽车是由司机驾驶的。车上的感知传感器用来收集有关环境的信息。同时，车载电脑将记录来自踏板、方向盘的传感器读数，以及描述驾驶员行为的所有其他信息。由于需要由人类收集和标记大量数据，这是一个代价高昂的过程。特斯拉人工智能主管安德烈·卡普西（Andrej Karpathy）表示，他所在团队的大部分工作都致力于获得越来越好的数据

或者，也可以使用模拟器。”国家仪器公司（National Instruments）全球汽车战略主管杰米·史密斯（Jamie Smith）表示：“目前的物理测试还不够，因此需要进行虚拟测试。”。这降低了数据采集的成本，但也带来了现实主义的问题：这些虚拟场景是由人类定义的，比真实车辆所经历的随机性小。在这一领域，有越来越多的研究称之为虚拟到真实的转换，研究在真实世界中传递在模拟中收集到的知识的方法

利用来自传感器和这些算法的所有数据，自动驾驶车辆可以检测到周围的物体。下一步，它需要规划找到一条路径。

路径规划

当车辆知道其环境中的物体及其位置时，可以使用voronoi图（最大化车辆与物体之间的距离）、占用网格算法或驾驶走廊算法来确定车辆的大范围路径。但是，这些传统方法不足以满足车辆正在与周围的其他移动对象交互，其输出需要微调。

一些自动驾驶汽车不仅依靠机器学习算法来感知环境，而且依靠这些数据来控制汽车。路径规划可以通过模仿学习教给CNN，CNN试图模仿司机的行为。在更先进的算法中，使用DRL，其中奖励以可接受的方式驾驶的自治系统。通常，这些方法与经典的运动规划和轨迹优化方法相结合，以确保路径的鲁棒性。此外，制造商还可以在模型试图确定最佳路径时考虑其他目标，如节能。

在车辆运行过程中训练神经网络和推理需要巨大的计算能力。直到最近，大多数机器学习任务都是在基于云的基础设施上执行的，计算能力和冷却能力都过大。对于自动驾驶车辆，这不再可能，因为车辆需要能够同时对新数据作出反应。因此，操作车辆所需的部分处理需要在车上进行，而模型改进可以在云端进行。

机器学习的最新进展集中在如何有效地处理由自动驾驶车辆上的传感器产生的大量数据以降低计算成本上，使用诸如attention或core set等概念。此外，芯片制造和小型化的进展正在增加计算能力安装在自主车辆上。随着网络协议的进步，汽车可能能够依靠低延迟的基于网络的数据处理来帮助他们进行自主操作。

4

执行 Acting

一辆车是如何根据这些信息行动的？在目前由人类驾驶的汽车中，车辆的转向、制动或信号等动作通常由驾驶员控制。来自驾驶员的机械信号由电子控制单元（ECU）转换为驱动指令，由汽车上的电动或液压执行器执行。目前有少数车型包含线控驱动系统，其中像方向盘柱这样的机械系统被电子系统取代。

在（半）自动汽车中，这种功能被直接与ECU通信的驱动控制软件所取代。这可以提供改变车辆结构和减少部件数量的机会，特别是那些专门用于将驾驶员的机械信号转换为ecu的电信号的部件。

今天的车辆包含多个ECU，从标准车中的15-20个到高端车中的100个左右。ECU是一个简单的计算单元，有自己的微控制器和内存，它使用这些处理输入数据，将其输入到它控制的子系统的输出命令中，例如移动自动变速箱。

一般来说，ecu可以负责控制车辆的操作、安全功能或运行信息娱乐和内部应用程序。大多数ecu支持单一应用程序，如电子动力转向、本地运行算法和处理传感器数据。

体系结构：分布式与集中式

不断增长的需求和复杂性要求工程师为需要进行传感器融合的系统设计正确的电子体系结构，同时以同步的方式将决策分发给执行指令的较低级别子系统。

理论上，在可能的设置的一个极端，可以选择一个完全分布式的架构，其中每个传感单元处理其原始数据并与网络中的其他节点通信。在频谱的另一端，我们有一个集中的体系结构，所有的远程控制单元（RCU）都直接连接到一个中央控制点，该控制点收集所有信息并执行传感器融合过程。

在这个频谱的中间是混合解决方案，它将在更高抽象级别工作的中央单元与执行专用传感器处理和/或执行决策算法的域结合起来。这些域可以基于车辆内的位置，例如车辆前部和后部的域、它们控制的功能类型或它们处理的传感器类型（例如摄像头）。

在集中式体系结构中，来自不同传感器的测量是独立的量，不受其他节点的影响。数据在系统边缘节点不被修改或过滤，为传感器融合提供了最大可能的信息，并且具有低延迟。面临的挑战是，需要将大量数据传输到中央单位并在那里进行处理。这不仅需要一台功能强大的中央计算机，还需要一个高带宽的重型线束。今天的车辆包含超过一公里的电线，重数十公斤

分布式体系结构可以用较轻的电气系统实现，但更复杂。虽然在这种架构中，与带宽和集中处理相关的需求大大减少，但它在驱动和感知阶段之间引入了延迟，并增加了数据验证的挑战。

功率、热管理、重量和尺寸挑战

除了增加系统的复杂性之外，自动化还对车辆部件的功耗、热管理、重量和尺寸提出了挑战。

无论体系结构是分布式的还是集中式的，自动驾驶系统的功率需求都是非常重要的。这方面的主要驱动力是计算需求，对于完全自主的汽车来说，计算需求很容易比目前生产中最先进的汽车高出100倍。

自动驾驶汽车的这种动力饥渴增加了对电池性能和系统中半导体元件性能的要求。对于全电动汽车，行驶里程受到这一电力需求的负面影响。因此，像Waymo和福特这样的一些公司选择专注于混合动力汽车，而Uber则使用全汽油suv车队。然而，专家指出，由于内燃机在产生用于车载计算的电力方面效率低下，全电动最终成为自动驾驶动力系统的首选。

处理需求的增加和更高的功率吞吐量使系统升温。为了使电子部件正常可靠地工作，它们必须保持在一定的温度范围内，而不管车辆的外部条件如何。冷却系统，特别是那些基于液体的冷却系统，可以进一步增加车辆的重量和尺寸。

额外的部件、额外的布线和热管理系统对减轻车辆任何部件的重量、尺寸和热性能都施加了压力。从减少大型部件（如激光雷达）的重量到微型部件（如构成电子电路的半导体部件），汽车部件供应商有很大的动力相应地改变其产品。

半导体公司正在制造占地面积更小、热性能更高、干扰更低的组件，同时实际上提高了可靠性。除了发展各种硅元件，如MOSFET、双极晶体管、二极管和集成电路外，该行业还着眼于使用新型材料。基于氮化镓（GaN）的元件被认为对未来的电子产品有很大的影响。与硅相比，氮化镓能在给定的导通电阻和击穿电压下产生更小的器件，因为它能更有效地传导电子。

要执行所有的算法和进程以实现自动驾驶，需要大量的计算，因此需要强大的处理器。一辆完全自主的汽车可能比迄今为止开发的任何软件平台或操作系统包含更多的代码行。GPU加速处理是目前的行业标准，Nvidia是市场领导者。然而，越来越多的公司正在寻求不同的解决方案；Nvidia的大部分竞争对手都把他们的芯片设计集中在张量处理单元（TPU）上，这加速了张量运算，而张量运算是深度学习算法的核心工作量。另一方面，gpu是为图形处理而开发的，因此阻止了深度学习算法充分利用芯片的能力。

由此可见，随着汽车自动化水平的提高，作为汽车软件的体形都将发生显著变化。除此之外，车辆中更大的自主性也会影响你作为用户将如何与他们互动。

END