什么是強化學(xué)習(xí)?

　　強化學(xué)習(xí)是一種讓機器通過“試錯”學(xué)會決策的辦法。與監(jiān)督學(xué)習(xí)不同，監(jiān)督學(xué)習(xí)是有人提供示范答案，讓模型去模仿;而強化學(xué)習(xí)不會把每一步的“正確答案”都告訴你，而是把環(huán)境、動作和結(jié)果連起來，讓機器自己探索哪個行為長期看起來更有利，便往那個行為中去靠。

　　這里的“有利”是通過一個叫做獎勵(reward)的信號來衡量的。獎勵可以是正向的，也可以是負向的，機器的目標是讓長期累計的獎勵盡可能多。把決策過程抽象成在某個狀態(tài)下采取某個動作會進入到下一個狀態(tài)并獲得相應(yīng)的獎勵的機制，這種數(shù)學(xué)化的描述叫做馬爾可夫決策過程。

　　從定義上看，這個概念有些晦澀難懂，舉個簡單的例子吧。自動駕駛系統(tǒng)在駕駛仿真里開車，順利通過一個路口就可以得到獎勵，但撞到路緣或急剎車將被罰分，這些獎勵和懲罰會引導(dǎo)學(xué)習(xí)算法偏向于那些帶來更多正向回報的駕駛行為。強化學(xué)習(xí)把這樣一整套“感知—決策—反饋—調(diào)整”的循環(huán)自動化，讓模型在沒有人逐條教它規(guī)則的情況下也能學(xué)出一套安全的駕駛策略。

　　為什么強化學(xué)習(xí)會被用到自動駕駛中

　　自動駕駛汽車會通過各種傳感器識別路況，但它不是簡單識別攝像頭拍攝的圖片或激光雷達探測到的點云這么簡單，它會不斷與環(huán)境進行交互。自動駕駛汽車需要在復(fù)雜且動態(tài)的交通環(huán)境里做出連續(xù)決策，這些決策不僅影響當前瞬間的安全，也會改變未來的交通態(tài)勢。

　　強化學(xué)習(xí)剛好擅長解決這種“序列決策”的問題。相比傳統(tǒng)方案中把每種場景寫成規(guī)則的方式，強化學(xué)習(xí)能夠把環(huán)境狀態(tài)(來自攝像頭、雷達、激光雷達以及速度、加速度等車載信息)映射成動作(轉(zhuǎn)向、加速、減速等)，并通過長期回報來優(yōu)化策略。

　　這種端到端或者半端到端的學(xué)習(xí)方式讓模型在面對復(fù)雜交互、非線性場景時比規(guī)則系統(tǒng)更具適應(yīng)性。很多技術(shù)方案中會把強化學(xué)習(xí)與深度學(xué)習(xí)結(jié)合起來，處理高維輸入，然后再輸出決策。

　　在安全可控的仿真環(huán)境里，強化學(xué)習(xí)還可以以極大的樣本量去嘗試各種邊緣情況，積累經(jīng)驗，之后再把模型遷移或微調(diào)到真實車輛上，這將極大優(yōu)化模型的訓(xùn)練效果。

　　簡而言之，當問題表現(xiàn)為“連續(xù)決策、長期回報、即時反饋”時，強化學(xué)習(xí)提供了一條比規(guī)則更有彈性的途徑。

　　強化學(xué)習(xí)如何應(yīng)用到自動駕駛中

　　將自動駕駛系統(tǒng)拆分開看，其實是一條連續(xù)的系統(tǒng)，其最前端是感知，中間是決策規(guī)劃，末端是執(zhí)行控制。強化學(xué)習(xí)可以在多個環(huán)節(jié)發(fā)揮作用，但更多是用在決策與控制之間。

　　感知模塊負責(zé)把攝像頭、雷達、激光雷達這些原始數(shù)據(jù)處理成如周圍車輛的位置和速度、車道線、交通標志等對路況有用的表征信息。決策模塊要基于這些信息決定接下來幾秒鐘內(nèi)的動作。

　　強化學(xué)習(xí)的優(yōu)勢在于，它可以把決策看作是一個優(yōu)化問題，其不只是考慮當前動作的即時好壞，更會衡量動作序列在未來帶來的累計效果。因此在跟車、換道、避障和復(fù)雜交叉口應(yīng)對這類需要考慮連貫動作與長期影響的任務(wù)上，強化學(xué)習(xí)能學(xué)出比單步規(guī)則更流暢、可預(yù)測的行為。

　　在很多的技術(shù)方案中，強化學(xué)習(xí)不僅可以單獨作為一個端到端控制器，從傳感器輸入直接學(xué)習(xí)輸出控制命令，也可以作為決策層的一個組件，與傳統(tǒng)規(guī)劃器或約束優(yōu)化器協(xié)同工作。前者在學(xué)出來后更簡潔，但可解釋性和可驗證性較差;后者能把強化學(xué)習(xí)產(chǎn)生的策略納入現(xiàn)有安全約束下進行檢查和修正，從而兼顧靈活性和安全性。

　　現(xiàn)階段很多常見的做法是先用模擬器做大量訓(xùn)練，得到一個初步策略，再用監(jiān)督學(xué)習(xí)的方法做預(yù)訓(xùn)練，把人類駕駛數(shù)據(jù)用作引導(dǎo)，最后在仿真里用強化學(xué)習(xí)精調(diào)。這樣的復(fù)合流程能顯著提升模型訓(xùn)練效率并降低在真實世界試錯的風(fēng)險。

　　強化學(xué)習(xí)有什么問題?

　　強化學(xué)習(xí)的概念看起來的確不錯，可以讓大模型自己學(xué)習(xí)，并研究出一套可行的駕駛策略。但想把它安全可靠地部署到車輛上，并不是一朝一夕的事情。其最大的問題就是安全與魯棒性。

　　仿真和真實世界一定會存在差距，這個差距會讓在仿真中表現(xiàn)良好的策略在實車上出現(xiàn)意外行為。環(huán)境變化、傳感器噪聲、極端天氣、未見過的交通流模式等都會考驗?zāi)Ｐ偷姆夯芰ΑＩ疃葟娀瘜W(xué)習(xí)一般還是黑盒式的，難以解釋模型為什么在某個時刻做出某個決定，這給責(zé)任歸屬、事故分析和安全驗證帶來了極大挑戰(zhàn)。

　　強化學(xué)習(xí)的訓(xùn)練成本也是很現(xiàn)實的問題，強化學(xué)習(xí)需要大量多樣的樣本來覆蓋邊緣情況，光靠真實道路采集不僅危險還很慢，因此很多訓(xùn)練必須在高質(zhì)量的仿真中完成，而高保真模擬本身就需要很高的成本投入且需不斷精細化，這無疑提高了成本。

　　強化學(xué)習(xí)還會面臨在線學(xué)習(xí)和離線學(xué)習(xí)之間的取舍。完全在線學(xué)習(xí)在真實道路上意味著系統(tǒng)會在行駛過程中不斷試錯，這必然會帶來很多的風(fēng)險。而長期離線訓(xùn)練則可能讓模型落后于環(huán)境變化，為此，就就需要周期性地遷移學(xué)習(xí)或進行持續(xù)集成。