新能源與智能汽車技術叢書--智能汽車環境感知技術

（1）《智能汽車環境感知技術》是一本難得的實用技術專著，全面系統地展示了目前的智能車輛環境感知算法研究成果。 （2）從學術界及工業界的角度出發，探討了深度學習和神經網絡等關鍵算法在環境感知領域的應用以及學術界需要攻克的重難點。 （3）強調知識的應用性，具有較強的針對性，適合汽車研發設計、教學科研等相關人員使用。

汽車產業正在經歷百年未有之大變局，電氣化、智能化和網聯化是未來汽車發展的主要趨勢。一方面，能源消耗、環境保護、供需失衡、交通擁堵和行車安全給汽車產業可持續發展帶來的壓力與日俱增，要求汽車行業必須把握新機遇，提供全新解決方案。另一方面，新一輪科技革命推動科技公司、創業公司及新型模式運營公司等外部力量加速跨界進入汽車領域，汽車的產品屬性、產業價值鏈和生態結構都將完全不同。
近年來，全球自動駕駛汽車發展迅速，以Waymo、Tesla、百度等為代表的企業持續加大自動駕駛算法研發投入，大規模開展自動駕駛測試、驗證和示范應用，并逐步探索無人駕駛汽車商業化運營。
現階段，汽車的電氣化已經取得了階段性的進展，接下來應該把智能化放到更加重要的位置上。環境感知技術一直是智能汽車的核心議題，它可與自主導航、路徑規劃和決策控制等算法形成閉環的自動駕駛系統。目標檢測算法作為環境感知的基礎任務，旨在識別傳感器數據中感興趣的物體，并確定物體的位置、尺寸及類別，幫助車輛理解前方障礙物“是什么”“在哪里”。為了進行更強的環境感知和更可靠的目標檢測，自動駕駛汽車上同時部署了相機傳感器和激光雷達傳感器，通過單模態、多模態傳感器算法實現智能汽車的平穩安全行駛。
本書全面系統地展示了最新的智能汽車環境感知算法研究成果。全書共分8章：第1章介紹了汽車的智能化、環境感知技術的重要性，智能汽車環境感知算法的國內外研究現狀；第2章介紹了智能汽車感知系統及傳感器標定方法，包括感知系統介紹、單目相機標定、相機和激光雷達聯合標定；第3章介紹了基于單目視覺的環境感知技術，包括深度學習理論及相關方法介紹、VisionTransformer、Swin DeformableTransformer-BiPAFPN-YOLOX的目標檢測算法、實驗與分析、實車實驗；第4章介紹了基于MobileNetv2_CA-YOLOv4的環境感知技術，包括輕量化目標檢測算法；第5章介紹了基于MCDVformer的多任務環境感知技術，包括多任務主干MCDVformer介紹、目標檢測實驗、實例分割實驗、目標分類實驗、語義分割實驗、消融實驗、實車實驗；第6章介紹了基于點云數據增強的環境感知技術，包括點云密度和語義增強框架和流程、點云和圖像之間的坐標轉換、數據集和檢測器細節、消融實驗；第7章介紹了基于兩階段序列融合的環境感知技術，包括多模態傳感器融合方法及概念、兩階段序列融合網絡、最近群組關聯的點云語義增強、基于置信度和距離的非極大值抑制、消融實驗；第8章介紹了基于多模態融合的環境感知技術，包括多模態融合環境感知算法問題描述、MFF-Net總體框架、實驗設置、消融實驗。
本書由時培成教授撰寫。參與資料收集、整理及相關數據統計的有劉志強、齊恒、陳新禾、張程輝、劉糠繼、李龍等博、碩士研究生。
特別感謝梁濤年博士、周定華正高級工程師，他們為本書提供了寶貴的意見和建議。此外，還要感謝海濱、倪紹勇、趙夕長、王文沖、蔣愛強等高級工程師，他們為本書提供了相關數據和統計信息。
由于筆者學識有限，書中不足之處在所難免，懇盼讀者給予指正。

著者

本書全面系統地介紹了智能汽車環境感知技術，包括汽車的智能化、環境感知技術的重要性及國內外研究現狀，智能汽車感知系統及傳感器的標定方法，基于單目視覺的環境感知技術，基于MobileNetv2_CA-YOLOv4的環境感知技術，基于MCDVformer的多任務環境感知技術，基于點云數據增強的環境感知技術，基于兩階段序列融合的環境感知技術，基于多模態融合的環境感知技術，等等。
本書從學術界及工業界的角度出發，全面闡述了全新的環境感知算法，深入探討了深度學習和神經網絡等關鍵算法在環境感知領域的應用以及學術界需要攻克的重難點，可作為從事汽車行業的工程算法人員及相關專業的本科生、研究生的參考書，也可供智能汽車愛好者閱讀。

第1章　緒論001
1.1　汽車的智能化002
1.1.1　智能汽車002
1.1.2　智能網聯汽車002
1.1.3　無人駕駛汽車003
1.2　環境感知技術的重要性004
1.3　國內外研究現狀006
1.3.1　基于圖像的環境感知技術006
1.3.2　基于點云的環境感知技術010
1.3.3　基于多傳感器融合的環境感知技術012
1.3.4　基于多任務網絡的環境感知技術013

第2章　智能汽車感知系統及傳感器標定方法015
2.1　感知系統介紹016
2.1.1　感知系統架構016
2.1.2　傳感器介紹017
2.2　單目相機標定019
2.2.1　相機成像模型019
2.2.2　相機內參標定022
2.3　相機和激光雷達聯合標定025
2.3.1　相機坐標系和激光雷達坐標系的轉換模型025
2.3.2　外參的聯合標定026
本章小結031

第3章　基于單目視覺的環境感知技術033
3.1　深度學習理論及相關方法介紹034
3.1.1　注意力機制034
3.1.2　注意力機制的計算034
3.1.3　自注意力機制035
3.2　VisionTransformer037
3.3　SwinDeformableTransformer-BiPAFPN-YOLOX目標檢測算法041
3.3.1　DarkNet53-PAFPN-YOLOX目標檢測算法041
3.3.2　SwinDeformableTransformer-BiPAFPN-YOLOX目標檢測算法整體結構045
3.3.3　重建可變形自注意力機制046
3.3.4　主干網絡：SwinDeformableTransformer048
3.3.5　頸部：BiPAFPN051
3.4　實驗與分析053
3.4.1　實驗平臺搭建053
3.4.2　數據集053
3.4.3　評價標準053
3.4.4　訓練策略055
3.4.5　實驗數據統計與分析055
3.5　實車實驗062
3.5.1　實驗設備介紹062
3.5.2　實時檢測064
本章小結067

第4章　基于MobileNetv2_CA-YOLOv4的環境感知技術069
4.1　MobileNetv2_CA-YOLOv4的輕量化目標檢測算法070
4.1.1　深度可分離卷積070
4.1.2　網絡結構的構建071
4.1.3　注意力機制及對比074
4.1.4　協調注意力機制CoordinateAttention（CA）的嵌入075
4.1.5　構造網絡損失函數078
4.1.6　馬賽克圖像增強方法079
4.2　MobileNetv2_CA-YOLOv4目標檢測算法的實驗與分析080
4.2.1　實驗平臺080
4.2.2　數據集介紹081
4.2.3　模型訓練081
4.2.4　評價指標082
4.2.5　實驗結果分析082
4.2.6　目標檢測結果對比086
本章小結089

第5章　基于MCDVformer的多任務環境感知技術091
5.1　多任務主干MCDVformer介紹092
5.1.1　整體結構092
5.1.2　移位窗口自注意力機制092
5.1.3　重建可變形自注意力機制093
5.1.4　關鍵點可變形自/交叉注意力機制094
5.1.5　SwinDeformableEncoder-Decoder095
5.1.6　密集殘差連接097
5.2　目標檢測實驗098
5.2.1　數據集與評價標準098
5.2.2　訓練策略098
5.2.3　定量實驗分析099
5.2.4　定性實驗分析100
5.3　實例分割實驗101
5.3.1　數據集、訓練策略與評價指標101
5.3.2　定量實驗分析101
5.3.3　定性實驗分析103
5.4　目標分類實驗103
5.4.1　數據集以及評價指標103
5.4.2　訓練策略104
5.4.3　定量實驗分析104
5.5　語義分割實驗106
5.5.1　數據集與評價指標106
5.5.2　訓練策略106
5.5.3　定量實驗分析106
5.5.4　定性實驗分析108
5.6　消融實驗109
5.7　實車實驗113
5.7.1　目標檢測實車實驗113
5.7.2　實例分割實車實驗115
5.7.3　語義分割實車實驗117
本章小結118

第6章　基于點云數據增強的環境感知技術119
6.1　點云密度和語義增強框架與流程120
6.1.1　點云密度增強121
6.1.2　點云語義增強122
6.2　點云和圖像之間的坐標轉換124
6.3　數據集和檢測器細節125
6.4　實驗和結果分析126
6.4.1　nuScenes數據集的評價指標126
6.4.2　nuScenes數據集上的實驗結果127
6.4.3　KITTI數據集上的實驗結果127
6.5　消融實驗128
6.5.1　點云密度增強的有效性驗證129
6.5.2　點云語義增強的有效性驗證131
6.5.3　D-SAugmentation整體性能的有效性驗證132
本章小結134

第7章　基于兩階段序列融合的環境感知技術135
7.1　多模態傳感器數據融合方法及概念136
7.2　兩階段序列融合網絡137
7.3　最近群組關聯的點云語義增強137
7.3.1　點云語義增強模塊138
7.3.2　最近群組關聯138
7.4　基于置信度和距離的非極大值抑制141
7.4.1　基于置信度的非極大值抑制141
7.4.2　級聯距離與置信度的非極大值抑制141
7.5　實驗結果及分析143
7.5.1　數據集介紹143
7.5.2　二維檢測器的配置143
7.5.3　三維檢測器的配置144
7.5.4　融合模塊的配置144
7.5.5　檢測結果及對比145
7.6　消融實驗146
7.6.1　NGP模塊的有效性146
7.6.2　C-DNMS模塊的有效性147
7.6.3　TSF整體網絡的有效性149
本章小結150

第8章　基于多模態融合的環境感知技術151
8.1　多模態融合環境感知算法問題描述152
8.2　MFF-Net總體框架153
8.2.1　空間變換投影（STP）154
8.2.2　自適應表達增強（AEE）融合155
8.2.3　自適應非極大值抑制（A-NMS）算法157
8.3　實驗設置158
8.3.1　實驗環境158
8.3.2　網絡細節159
8.3.3　KITTI數據集評價指標159
8.3.4　網絡訓練參數159
8.4　實驗結果和分析160
8.4.1　KITTI測試結果與分析160
8.4.2　nuScenes測試結果與分析162
8.5　消融實驗162
8.5.1　定量實驗分析163
8.5.2　定性實驗分析164
本章小結167

參考文獻168