Predicting collision cases at unsignalized intersections using EEG metrics and driving simulator platform
论文题目：Predicting collision cases at unsignalized intersections using EEG metrics and driving simulator platform
论文作者：Xinran Zhang，Xuedong Yan
论文期刊：Accident Analysis and Prevention
doi：https://doi.org/10.1016/j.aap.2022.106910
关键词：脑电图；驾驶行为；无信号交叉口冲突；机器学习模型；多层感知
1摘要
无信号交叉口碰撞一直是世界上最危险的事故之一。如何识别道路上的危险并预测前方可能发生的交叉口碰撞是交通安全领域的挑战性问题。本文通过脑电（EGG）指标预测道路危险，并提出了一个基于脑电指标和驾驶行为的改进神经网络模型来预测路口碰撞。研究表明，驾驶员EEG指标在碰撞和非碰撞情况下表现出明显差异。这表明EGG指标可以作为预测碰撞概率的有效指标。在快速频段（α和β）具有较高相对功率，在慢速频段（δ和θ）具有相对较低功率的司机更有可能发生冲突。进而，本文对比了三种输入数据集（仅EEG指标、仅驾驶行为、结合EEG指标与驾驶行为）的三种机器学习模型（多层感知器（MLP）、逻辑回归（LR）和随机森林（RF））的预测结果。结果显示，对于单一时间点的预测，MLP模型具有最高的准确性。仅仅基于EGG指标数据集的模型比驾驶行为以及综合数据集的准确率更高。然而，对于多时间点的预测，MLP的准确性只有73.9%，比LR和RF差。本文通过注意力机制和随机森林模型选择重要特征以改进MLP模型。改进后MLP准确率大大提高，达到88%。综上，这项研究证明了脑电信号对识别前方事故的重要性和可行性，改进后的神经网络模型可以帮助减少交叉口事故，提高交通安全。
2引言
交叉口事故是交通安全的主要问题。几乎一半的车祸发生在十字路口，其中近40%车祸发生在无信号交叉口。交叉口内部区域由多个进口道交织构成，车辆运动进而产生多个冲突点，因此无信号交叉口被认为是道路网络中最危险的地点之一。因此，改善无信号灯交叉口的道路安全一直是建筑承包商和政府当局的首要任务。
3方法
3.1场景设计
我们设计了一条车道宽度为3.5米的10公里长的郊区道路，其中包括6个交叉口A~F。可能发生的冲突事件随机分布在六个交叉口中，如图1所示。交叉口的主路限速为80公里/小时。相交的小路长度为150米，车道宽度为3.5米，限速为60公里/小时。
图 1驾驶模拟场景设计
3.2实验参与者
本实验共招募了32
视力正常的参与者，包括18名男性和14名女性。平均而言，参与者的年龄为34.8岁（从30岁到40岁不等，标准差为3岁）。参与者没有精神疾病或正在服用药物。参与者均持有驾驶执照3年以上，且每年开车超过20,000公里。每个参与者在实验前都要写知情同意书。该研究得到了北京交通大学机构审查委员会（IRB）的批准。
3.3实验设备与程序
实验过程使用配备有64个电极帽的驾驶模拟器来收集驾驶员的行为和脑电数据。如图2所示，驾驶平台是由Realtime Technologies开发的，硬件设备是一个全尺寸的，带有真实的操作界面、环境噪音与震动模拟系统、数字视频回放系统和车辆动态模拟系统的福特福克斯汽车座舱。模拟环境是在300度的正面/周边视野中投射的，分辨率为1400*1050像素，参与者也可通过左、中、右后视镜获取信息。该软件系统由三部分组成：SketchUp软件、Simvista软件和Simcreator软件，它们分别用于驾驶场景设计、虚拟交通环境模拟和模拟器系统控制。驾驶行为数据集由Simcreator软件记录，原始EEG信号由Neuroscan软件收集。实验结束后，我们可以直接从驾驶模拟平台上获得速度、加速度和刹车力度等驾驶行为变量。
图 2驾驶模拟器与电极帽
3.4变量提取
驾驶过程数据以60Hz的频率由驾驶模拟器系统收集，过程中脑电信号以1000Hz的频率由Neuroscan系统收集。两种类型的数据在驾驶模拟开始时同步收集。原始EEG信号通常包含噪音和由于周围环境的干扰或参与者的眼球运动产生的伪影，数据预处理对于特征提取和进一步分析非常重要。我们使用Curry 7软件进行脑电信号的预处理。
在对原始EEG信号进行预处理后，我们将15秒的防撞过程分为15个时间相等的片段。在这些片段中提取EEG观测值，并在预处理后的EEG观测值中计算出相对功率、快频段和低频段的功率比。驾驶员的驾驶表现，包括速度、加速度、踏板位置、踏板力和反应时间等，可以从驾驶模拟器平台中提取。在这些变量中，速度代表车辆的瞬时状态，而加速度反映车辆状态的变化。考虑到加速度与踏板位置和踏板力有很强的相关性，并且对驾驶员的行为更加敏感，我们选择加速度作为车辆状态瞬间变化的指标。此外，反应时间是指从司机发现冲突车辆到司机刹车以避免碰撞的时间长度。然而，以前的研究表明，不同受试者的反应时间有可忽略的差异。因此，我们最终选择了速度和加速度作为代表性的驾驶表现指标。脑电指标和驾驶表现变量的定义见表1。
表 1 EGG指标和驾驶行为变量定义
3.5模型选择
在这项研究中，我们选择了三种常用的机器学习模型，Logistic回归（LR）、随机森林（RF）和多层感知器（MLP）。Logistic回归利用输入数据的线性组合解决二元分类问题。随机森林是一个代表性的集成模型，MLP是一个常用的深度学习模型。这些模型在预测、分类方面都表现出优异的性能。
4实验结果
我们测量了32名参与者的脑电信号以及驾驶行为。为了确保数据的独立性，每个受试者在不确定的时间间隔内随机进行了3组实验。在每次实验的防撞过程中，我们提取了8个EEG特征和2个驾驶表现变量。其中4条记录由于脑电图原始数据集的伪影太多被删除。最后，92条记录用于统计分析。在这92条记录中，有49个非碰撞案例和43个碰撞案例。我们将EEG指标和驾驶行为结合起来，分析了15秒避撞过程中脑电信号和行为表现对交通安全的影响。我们将15秒的避撞过程按一秒的间隔分为15个时间段，并提取每一秒的脑电指标和驾驶行为。
4.1碰撞和非碰撞情况下的脑电指标和驾驶性能的差异
首先，我们在驾驶员15秒的防撞过程中提取了四个EEG变量和两个驾驶表现变量。脑电图变量包括4个相对功率和4个功率比。驾驶表现变量包括速度和加速度。如图3所示，可以看出，在碰撞和非碰撞的情况下，EEG变量和驾驶表现存在明显的差异。
图 3 15秒的紧急避撞过程中，碰撞和非碰撞情况下的EEG指标和驾驶表现的平均值与标准差
4.2基于脑电图指标和驾驶性能预测碰撞案例
为了研究脑电指标对碰撞预测的可行性，我们选择了三种机器学习方法，即多层感知器（MLP）、随机森林（RF）和逻辑回归（LR）来进行预测。预测是基于三个不同的数据集，包括只有脑电图指标、只有驾驶行为、结合脑电图指标与驾驶行为。为了避免过度拟合，我们使用交叉验证方法，将数据集随机分成不同的训练和测试数据集。图4显示了三种方法在这三个数据集上的预测结果。
图 4 模型预测精度对比
4.3基于脑电图指标和驾驶行为的优化模型建立
图5显示了根据RF模型从70个变量中选出的三个最重要的特征。我们选择重要性大于0.04的特征值作为紧急避撞过程中冲突预测的关键变量。三个最重要的变量是冲突点前第4秒的平均加速度，冲突点前第8秒所有脑区的平均相对δ功率，其次是冲突点前第5秒的平均加速度。在根据RF模型选择了3个关键变量（加速度_4s、加速度_5s和delta_8s的平均相对功率）后，这些变量被输入MLP模型。
图 5 随机森林下特征重要度
为了防止本研究中的小样本数据集导致的过度拟合，模型中使用了dropout在训练过程中随机隐藏不必要的神经元来优化模型。此外，我们使用了三折交叉验证来防止过度拟合，提高模型的可靠性。综上所述，提出的RF_ATT_MLP模型的框架如图6和图7所示。
图 6 RF_ATT_MLP模型结构
图 7 RF_ATT_MLP模型框架图
图8比较了MLP模型、RF_MLP 模型和RF_ATT_MLP模型。很明显，RF_ATT_MLP模型预测准确率最高，从优化前的73.9%提升到88%，这表明RF和注意力机制的结合确实提高了MLP模型在多时间点上预测的性能。
图 8 预测精度比较
5讨论
5.1冲突与非冲突场景下EGG指标的差异
我们的结果表明，相对α值较低的司机在面对十字路口的紧急冲突时，发生碰撞的可能性较小。对复杂的交叉口环境的关注越多，交叉口碰撞的概率就越小。这表明相对α值较低与更多的驾驶注意力是一致的。
5.2进入交叉口前的关键时间范围
Lloyd等人提取了司机在进入交叉路口前15秒的行为表现，平均来看，司机在进入交叉路口前第9秒抬起油门，在第7秒踩下刹车。同样，我们的结果显示，基于EEG指标的预测在冲突点前第7秒时为72.9%的准确率，而驾驶行为和EEG指标相结合的预测在冲突点前的第9秒准确率最高。此外，基于随机森林模型的重要性排名表明，在第8秒所有脑区的相对δ功率是由驾驶行为和EEG指标提取的70个变量中最重要的三个特征之一。上述发现意味着，在进入交叉路口前的第7至9秒的时间范围内，在做出决策和采取避免碰撞的行动方面起着重要作用。
5.3交叉口交通安全的优化预测模型构建
在这项研究中，引入注意力机制可以显著提高神经网络模型的预测精度。本研究的结果表明，选择重要的EEG指标和驾驶行为变量是有效预测交叉口碰撞事故的关键。与MLP模型相比，所提出的RF_ATT_MLP模型（在RF模型的基础上，将导入的变量输入ATT_MLP模型）大大提高了预测精度。表3显示了本研究中的92个预测案例。可以发现，该模型可以正确预测碰撞案例（40/43）和非碰撞案例（41/49）。对于正确预测的碰撞案例，相应的措施是警告和紧急制动，而对于预测失败的碰撞案例，应该采取紧急制动来避免冲突。对于正确预测的非碰撞情况，不需要采取任何行动。当预测到碰撞但未发生碰撞时，应采取预警措施，使驾驶员提前注意并尽快采取措施。本研究有助于提前发布预警信息或采取紧急制动干预，从而使驾驶员更加关注潜在的危险并采取适当的行动（减速或紧急制动）或采取强制制动干预以避免冲突。因此，它可以减少事故发生的概率，提高交通安全。
表 2 模型混淆矩阵
5.4研究局限与展望
应该注意的是，驾驶员的行为和脑电图测量是在驾驶模拟器平台上收集的。
尽管驾驶模拟器已被证明是研究驾驶行为的有效工具，但模拟的驾驶场景与现实生活中的驾驶场景仍然存在一些差异。例如，驾驶模拟是基于图像投影系统来表现屏幕上的驾驶环境，这可能导致与真实世界的视觉特征存在差异。因此，模拟器中的距离和速度感知可能与现实不同，影响结果的可靠性。因此，建议在未来进行一项比较驾驶员在模拟和真实驾驶环境中的脑电信号的有效性研究。
6结论
本文研究了脑电指标预测道路冲突的可行性，并提出了一个基于脑电指标和驾驶行为的高精度神经网络模型来预测交叉口的碰撞。可以得出以下结论：（1）在碰撞和非碰撞情况下，脑电指标存在明显差异，表明脑电指标可以成为预测碰撞的有效指标。α功率和β功率较高，δ功率和θ功率较低的司机不能集中注意力，认知能力水平较低。因此，他们很容易在路口发生碰撞。、（2）在驾驶行为方面，发现驾驶行为激进的司机对周边环境不敏感，相应的速度和加速度比驾驶行为保守的司机有很大的延迟。（3） 基于三种数据集（仅脑电图指标、仅驾驶行为和脑电图指标与驾驶行为相结合），在每个时间点使用MLP、LR和RF模型来预测碰撞。结果发现，MLP在三个模型中给出了最好的预测精度。在整个过程中，仅基于EEG指标的模型在第7秒到冲突点的准确率可以达到72.9%，而基于组合数据集的准确率在碰撞前4秒都比EEG指标差，这时采取行动已经过晚。（d4）基于多时间点的预测显示，MLP的准确率为73.9 %，比LR和RF差。然而，改进的MLP模型，名为RF_ATT_MLP，可以达到88%的预测精度，高于RF和LR模型。这是通过使用随机森林方法在70个特征变量中选择排名前三的变量，并将注意力机制纳入MLP模型来实现的。
本文的贡献在于两个方面：（1）本研究表明，脑电信号是碰撞预测的有效指标，具有特定频域的脑电指标可用于识别容易发生事故的驾驶员。(2）通过在MLP模型中引入注意力机制，提出了一个具有较高预测精度的神经网络模型，该模型可以准确预测交叉口碰撞事故，并用于提前发布预警信息，从而使驾驶员对潜在危险更加关注并采取适当的行动，最终降低冲突事故的发生概率。