RLChina 是由国内外强化学习学者联合发起的民间学术组织,主要活动包括举办强化学习线上公开课、强化学习线上研讨会等,旨在搭建强化学习学术界、产业界和广大爱好者之间的桥梁。
发布于

RLChina 前沿讲习班第1期——自动驾驶专题


## 导读 前沿讲习班是RLChina举办的学术活动,每期就某一研究话题邀请若干位专家作线上报告,并组织感兴趣的同学交流研讨。第1期前沿讲习班的话题是自动驾驶,将由清华大学李升波老师和华为诺亚罗军老师为大家分享最新的研究进展,欢迎大家参与。互动方式:**在本帖留言,可与报告嘉宾互动**。 ## 简介 ### 主题 RLChina 前沿讲习班第1期——自动驾驶专题 ### 时间 2021年10月12日 19:00至20:30 ### 网址 B站RLChina直播间 [http://live.bilibili.com/22386217](http://live.bilibili.com/22386217) ### 报告人 李升波 清华大学 ([课件](https://gitee.com/rlchina/rlchina-workshop/attach_files/855581/download),[回放](https://www.bilibili.com/video/BV1pf4y1g7jx?spm_id_from=333.999.0.0)) 罗军 华为诺亚方舟实验室 ([课件](https://gitee.com/rlchina/rlchina-workshop/attach_files/850546/download),[回放](https://www.bilibili.com/video/BV1fT4y1d7ie?spm_id_from=333.999.0.0)) ### 主持人 张海峰 中科院自动化所 ------------------------------------ ## 报告信息 ### 第一场 19:00-19:45 #### 报告人:李升波([课件](https://gitee.com/rlchina/rlchina-workshop/attach_files/855581/download),[回放](https://www.bilibili.com/video/BV1pf4y1g7jx?spm_id_from=333.999.0.0)) ![ ](https://rlchian-bbs.oss-cn-beijing.aliyuncs.com/images/2021/10/11/0285692470f70761907622a82c9b5d7a.jfif) #### 报告人简介 清华大学车辆学院副院长,长聘教授。留学于斯坦福大学,密歇根大学和加州伯克利大学。从事智能网联汽车、强化学习、最优控制与估计等研究。发表SCI论文>80篇,引用数超过9500次,入选ESI高引10篇(学科前1%),国内外学术会议论文奖11次。入选国家高层次科技创新人(2021)、科技部中青年科技创新领军人才(2020)、首届北京市基金委杰青(2018)、青年长江学者(2016)、国家基金委优青(2016)等。获中国汽车工业科技进步特等奖(2020)、国家科技进步二等奖(2018)、国家技术发明二等奖(2013)等。担任IEEE ITS学会的全球理事会委员、中国汽车工程学会青工委主任(首任)、IEEE Trans on ITS副主编、IEEE ITS Mag副主编、Automotive Innovation副主编等。 #### 报告标题 Apply Reinforcement Learning in Autonomous Vehicle Design #### 报告摘要 Unlike general intelligence for computer games, self-driving vehicles are faced with several problems such as high complexity of road structure, strong randomness of traffic conditions and participants, and hard safety constraints. Current mainstream decision and control methods either suffer high computing complexity or poor interpretability on real-world autonomous driving tasks. This report will focus on an interpretable and computationally efficient autonomous driving method on the basis of newly proposed integrated decision and control (IDC) framework, which decomposes a driving task into static path planning and dynamic optimal tracking that are structured hierarchically. The IDC framework can utilize an actor-critic RL algorithm to solve the constrained optimal control problem, in which its parametrized value and policy functions become path selector and path tracker, respectively. It also explores the demand of high-level intelligent vehicles for the next generation of artificial intelligence, and provide suggestions for core technology development and industrial implementation. #### 报告回放 <iframe src="//player.bilibili.com/player.html?aid=378608266&bvid=BV1pf4y1g7jx&cid=424513775&page=1" scrolling="no" border="0" frameborder="no" framespacing="0" allowfullscreen="true" width="600" height="450"></iframe> ------------------------------------ ### 第二场 19:45-20:30 #### 报告人:罗军 ([课件](https://gitee.com/rlchina/rlchina-workshop/attach_files/850546/download),[回放](https://www.bilibili.com/video/BV1fT4y1d7ie?spm_id_from=333.999.0.0)) ![ ](https://rlchian-bbs.oss-cn-beijing.aliyuncs.com/images/2021/10/11/016f7b65b91b9594887d981f102afe46.jfif?x-oss-process=image/resize,l_200) #### 报告人简介 Jun Luo studied computer science at Peking University and has a PhD in Computer Science and Cognitive Science from Indiana University Bloomington. He previously taught Cognitive Science at the University of Toronto and worked for several small and large companies. He joined Huawei Technologies Canada in 2016, where he currently serves as a Distinguished Researcher as part of Huawei Noah’s Ark Lab for Artificial Intelligence #### 报告标题 Why Autonomous Driving Needs RL and How to Use RL in Autonomous Driving #### 报告摘要 While reinforcement learning (RL) is yet to be taken up vigorously in today's real-world autonomous driving (AD) R&D, it is inevitable that RL will come to play a central role in AD. Without leveraging RL, we may never achieve AD solution that is generally usable for public urban environments. In this talk, we will explore the reasons why RL may be indispensable for AD and examine ways in which RL may be used in next-generation AD. #### 报告回放 <iframe src="//player.bilibili.com/player.html?aid=933500040&bvid=BV1fT4y1d7ie&cid=424514046&page=1" scrolling="no" border="0" frameborder="no" framespacing="0" allowfullscreen="true" width="600" height="450"> </iframe> ------------------------------------ ## 联系我们 Email: <rlchinacamp@163.com> ![Description](https://jidi-images.oss-cn-beijing.aliyuncs.com/rlchina2021/rlcn.jpeg?x-oss-process=image%2Fresize%2Cl_200) 来源:[https://mp.weixin.qq.com/s/fa7LDOo4Cz76I4qZjMLJWQ](https://mp.weixin.qq.com/s/fa7LDOo4Cz76I4qZjMLJWQ)

导读

前沿讲习班是RLChina举办的学术活动,每期就某一研究话题邀请若干位专家作线上报告,并组织感兴趣的同学交流研讨。第1期前沿讲习班的话题是自动驾驶,将由清华大学李升波老师和华为诺亚罗军老师为大家分享最新的研究进展,欢迎大家参与。互动方式:在本帖留言,可与报告嘉宾互动

简介

主题

RLChina 前沿讲习班第1期——自动驾驶专题

时间

2021年10月12日 19:00至20:30

网址

B站RLChina直播间 http://live.bilibili.com/22386217

报告人

李升波 清华大学 (课件回放
罗军 华为诺亚方舟实验室 (课件回放

主持人

张海峰 中科院自动化所


报告信息

第一场 19:00-19:45

报告人:李升波(课件回放

报告人简介

清华大学车辆学院副院长,长聘教授。留学于斯坦福大学,密歇根大学和加州伯克利大学。从事智能网联汽车、强化学习、最优控制与估计等研究。发表SCI论文>80篇,引用数超过9500次,入选ESI高引10篇(学科前1%),国内外学术会议论文奖11次。入选国家高层次科技创新人(2021)、科技部中青年科技创新领军人才(2020)、首届北京市基金委杰青(2018)、青年长江学者(2016)、国家基金委优青(2016)等。获中国汽车工业科技进步特等奖(2020)、国家科技进步二等奖(2018)、国家技术发明二等奖(2013)等。担任IEEE ITS学会的全球理事会委员、中国汽车工程学会青工委主任(首任)、IEEE Trans on ITS副主编、IEEE ITS Mag副主编、Automotive Innovation副主编等。

报告标题

Apply Reinforcement Learning in Autonomous Vehicle Design

报告摘要

Unlike general intelligence for computer games, self-driving vehicles are faced with several problems such as high complexity of road structure, strong randomness of traffic conditions and participants, and hard safety constraints. Current mainstream decision and control methods either suffer high computing complexity or poor interpretability on real-world autonomous driving tasks. This report will focus on an interpretable and computationally efficient autonomous driving method on the basis of newly proposed integrated decision and control (IDC) framework, which decomposes a driving task into static path planning and dynamic optimal tracking that are structured hierarchically. The IDC framework can utilize an actor-critic RL algorithm to solve the constrained optimal control problem, in which its parametrized value and policy functions become path selector and path tracker, respectively. It also explores the demand of high-level intelligent vehicles for the next generation of artificial intelligence, and provide suggestions for core technology development and industrial implementation.

报告回放


第二场 19:45-20:30

报告人:罗军 (课件回放

报告人简介

Jun Luo studied computer science at Peking University and has a PhD in Computer Science and Cognitive Science from Indiana University Bloomington. He previously taught Cognitive Science at the University of Toronto and worked for several small and large companies. He joined Huawei Technologies Canada in 2016, where he currently serves as a Distinguished Researcher as part of Huawei Noah’s Ark Lab for Artificial Intelligence

报告标题

Why Autonomous Driving Needs RL and How to Use RL in Autonomous Driving

报告摘要

While reinforcement learning (RL) is yet to be taken up vigorously in today’s real-world autonomous driving (AD) R&D, it is inevitable that RL will come to play a central role in AD. Without leveraging RL, we may never achieve AD solution that is generally usable for public urban environments. In this talk, we will explore the reasons why RL may be indispensable for AD and examine ways in which RL may be used in next-generation AD.

报告回放


联系我们

Email: rlchinacamp@163.com

Description

来源:https://mp.weixin.qq.com/s/fa7LDOo4Cz76I4qZjMLJWQ

导读

前沿讲习班是RLChina举办的学术活动,每期就某一研究话题邀请若干位专家作线上报告,并组织感兴趣的同学交流研讨。第1期前沿讲习班的话题是自动驾驶,将由清华大学李升波老师和华为诺亚罗军老师为大家分享最新的研究进展,欢迎大家参与。互动方式:在本帖留言,可与报告嘉宾互动

简介

主题

RLChina 前沿讲习班第1期——自动驾驶专题

时间

2021年10月12日 19:00至20:30

网址

B站RLChina直播间 http://live.bilibili.com/22386217

报告人

李升波 清华大学 (课件回放
罗军 华为诺亚方舟实验室 (课件回放

主持人

张海峰 中科院自动化所


报告信息

第一场 19:00-19:45

报告人:李升波(课件回放

报告人简介

清华大学车辆学院副院长,长聘教授。留学于斯坦福大学,密歇根大学和加州伯克利大学。从事智能网联汽车、强化学习、最优控制与估计等研究。发表SCI论文>80篇,引用数超过9500次,入选ESI高引10篇(学科前1%),国内外学术会议论文奖11次。入选国家高层次科技创新人(2021)、科技部中青年科技创新领军人才(2020)、首届北京市基金委杰青(2018)、青年长江学者(2016)、国家基金委优青(2016)等。获中国汽车工业科技进步特等奖(2020)、国家科技进步二等奖(2018)、国家技术发明二等奖(2013)等。担任IEEE ITS学会的全球理事会委员、中国汽车工程学会青工委主任(首任)、IEEE Trans on ITS副主编、IEEE ITS Mag副主编、Automotive Innovation副主编等。

报告标题

Apply Reinforcement Learning in Autonomous Vehicle Design

报告摘要

Unlike general intelligence for computer games, self-driving vehicles are faced with several problems such as high complexity of road structure, strong randomness of traffic conditions and participants, and hard safety constraints. Current mainstream decision and control methods either suffer high computing complexity or poor interpretability on real-world autonomous driving tasks. This report will focus on an interpretable and computationally efficient autonomous driving method on the basis of newly proposed integrated decision and control (IDC) framework, which decomposes a driving task into static path planning and dynamic optimal tracking that are structured hierarchically. The IDC framework can utilize an actor-critic RL algorithm to solve the constrained optimal control problem, in which its parametrized value and policy functions become path selector and path tracker, respectively. It also explores the demand of high-level intelligent vehicles for the next generation of artificial intelligence, and provide suggestions for core technology development and industrial implementation.

报告回放


第二场 19:45-20:30

报告人:罗军 (课件回放

报告人简介

Jun Luo studied computer science at Peking University and has a PhD in Computer Science and Cognitive Science from Indiana University Bloomington. He previously taught Cognitive Science at the University of Toronto and worked for several small and large companies. He joined Huawei Technologies Canada in 2016, where he currently serves as a Distinguished Researcher as part of Huawei Noah’s Ark Lab for Artificial Intelligence

报告标题

Why Autonomous Driving Needs RL and How to Use RL in Autonomous Driving

报告摘要

While reinforcement learning (RL) is yet to be taken up vigorously in today’s real-world autonomous driving (AD) R&D, it is inevitable that RL will come to play a central role in AD. Without leveraging RL, we may never achieve AD solution that is generally usable for public urban environments. In this talk, we will explore the reasons why RL may be indispensable for AD and examine ways in which RL may be used in next-generation AD.

报告回放


联系我们

Email: rlchinacamp@163.com

Description

来源:https://mp.weixin.qq.com/s/fa7LDOo4Cz76I4qZjMLJWQ

评论(37)
  • RLChina 回复

    两位老师的课件和回放都已更新~

  • AINova 回复

    CY

  • 张海峰 回复
    未知W 2021-10-12 11:07:22

    请问可以去旁听张老师所里的组会吗?

    可以来交流一下:)

  • Waterking 回复

    请问有回放吗,谢谢老师了。

  • 张启超 回复

    罗老师好,我们应该在仿真器里构建逼真且多样的环境车行为,那么应该如何去评估该行为的逼真度?有一些比较受认可的量化指标么?

  • jiayiguan 回复

    李老师好,我这边有几个问题

    1. 强化学习在线的探索存在样本效率低且安全性无法保证,offline 的强化学习是否是强化学习在自动驾驶和工业应用中的一个重要途径?
    2. 端到端的方式是否可以解决您说的观测输入的多变(当然这会引入另外一个问题,感知的精度和模型的效率)?
  • 贺先祺 回复

    请问动态的他车状态和环境信息是如何输入的?

  • DrDoggo 回复

    关于变动得输入数量得问题,能不能参考 openai moba 的那个经验,预留大概固定数量的视野内的车辆的数量。比如说,我们设定感知范围内最多观察到 20 辆车,10 条路,10 个指示灯等等。如果周围 object 小于这个上限时,就进行 zero padding,否则就只截取最近的 20 辆车进行观察。

  • Arbiter 回复

    请问老师状态空间是什么?

  • you-are-the-best 回复

    Controller 的目标是最小化路径代价,还是尽可能 follow 前面 critic 选择出来的路径?

  • ben 回复

    请问李老师,path tracker 是做什么的呢?

  • 未知W 回复

    请问可以去旁听张老师所里的组会吗?

  • RLChina 回复
    W Wiener 2021-10-12 10:04:03

    请问课件怎么查看呢,点击链接后显示“您的访问受限(403)”

    已修改 ~ 请再试试看

  • Wiener 回复
    R RLChina 2021-10-12 06:29:15

    罗老师课件已经更新~

    请问课件怎么查看呢,点击链接后显示“您的访问受限(403)”

  • RLChina 回复

    直播就在今晚 19:00 开始哈!!
    欢迎大家积极参与,与老师互动!

  • RLChina 回复

    罗老师课件已经更新~

  • 从头再来 回复

    只能看录播了 555

  • RLChina 回复
    V vinbo 2021-10-11 13:41:55

    请问有录播吗?明天时间有冲突……

    不好意思,刚样式的问题,所以再回复下。
    会有录播哈回放会放在 RLChina 的 B 站上,到时也会在这个帖子里更新哈

  • RLChina 回复
    V vinbo 2021-10-11 13:41:55

    请问有录播吗?明天时间有冲突……

    会有录播哈回放会放在 RLChina 的 B 站上,到时也会在这个帖子里更新哈

  • RLChina 回复
    F frfrRL 2021-10-12 02:48:47
    可以给一下腾讯会议的链接嘛

    可以在 RLChina 的 B 站直播间观看哈~这是链接:http://live.bilibili.com/22386217

  • frfrRL 回复
    可以给一下腾讯会议的链接嘛
  • Atongmu 回复
    H hanhan 2021-10-11 14:12:22

    希望可以把录播放在 B 站啊

    同求~~~

  • Atongmu 回复

    @罗老师 老师您好!想请教一个问题,现在人工智能技术已大量应用在生活中,但局限在感知层面,逻辑推理层面的应用很少。在自动驾驶领域 safet 要求还很高,想问的是,自动驾驶领域如果化解人工智能深度神经网络的难解释性?谢谢老师~

  • hanhan 回复

    希望可以把录播放在 B 站啊

  • vinbo 回复

    请问有录播吗?明天时间有冲突……

  • vinbo 回复

    请问自动驾驶中无可避免的对抗样本问题要怎么处理呢?

  • YanSong 回复
    A ask-and-learn 2021-10-11 12:30:49

    老师好!在自动驾驶 AD 里我已经能够构想到设计奖励函数 reward function 的困难了,例如将大量的参照指标融入到统一的奖励函数里;在 episode length 很长的时候的 delayed feedback 的问题;以及对于多种多样的奖励函数的评测等等都是大挑战,因此想咨询下老师们对于 reward design in AD 的看法。除此之外,还想咨询一下将 inverse RL 应用于自动驾驶奖励函数的学习有哪些需要注意的地方和有潜力的研究工作。谢谢老师们。

    indeed

  • YanSong 回复
    E Etiquette 2021-10-11 12:23:01

    对你这个研究方向挺感兴趣的,请问你是通过数据对 uncertainty 建模,然后基于所学习的 uncertainty 分布做 safe AD 么,有相关论文可以分享么

    可以参考这一篇 https://arxiv.org/pdf/1804.05132.pdf , 也可以关注 Yarin Gal 他们组在 AD 里的一些常识,例如 https://arxiv.org/pdf/1909.09884.pdf

  • ask-and-learn 回复

    老师好!在自动驾驶 AD 里我已经能够构想到设计奖励函数 reward function 的困难了,例如将大量的参照指标融入到统一的奖励函数里;在 episode length 很长的时候的 delayed feedback 的问题;以及对于多种多样的奖励函数的评测等等都是大挑战,因此想咨询下老师们对于 reward design in AD 的看法。除此之外,还想咨询一下将 inverse RL 应用于自动驾驶奖励函数的学习有哪些需要注意的地方和有潜力的研究工作。谢谢老师们。

  • Etiquette 回复
    Y YanSong 2021-10-11 11:56:15

    两位老师好,近期在 safety AD 安全自动驾驶领域有一些关于 uncertainty-aware model 的尝试,例如关于捕捉 sensor noise 和 model noise 对智能体行为的影响,以及利用 model noise 达成 risk-averse 的目的。想请教一下两位老师,对于这一具体方向研究 uncertainty 的工作有什么感想,以及老师们感觉 safety AD 的大致未来方向在哪里? 感谢 :)

    对你这个研究方向挺感兴趣的,请问你是通过数据对 uncertainty 建模,然后基于所学习的 uncertainty 分布做 safe AD 么,有相关论文可以分享么

  • microyu 回复
    Z zruizhi 2021-10-11 11:50:34
    请问强化学习目前在自动驾驶领域可以达到怎样的效果呢?未来的研究方向有哪些呢

    同问

  • Atongmu 回复

    @李老师 李老师您好!个人对自动驾驶领域很感兴趣,想请教两个问题,一是现在自动驾驶领域细分的方向有哪些?二是目前理想情况下研究的局限有哪些、研究应用到现实的局限还有那些?谢谢老师~

  • YanSong 回复

    两位老师好,近期在 safety AD 安全自动驾驶领域有一些关于 uncertainty-aware model 的尝试,例如关于捕捉 sensor noise 和 model noise 对智能体行为的影响,以及利用 model noise 达成 risk-averse 的目的。想请教一下两位老师,对于这一具体方向研究 uncertainty 的工作有什么感想,以及老师们感觉 safety AD 的大致未来方向在哪里? 感谢 :)

  • zruizhi 回复
    请问强化学习目前在自动驾驶领域可以达到怎样的效果呢?未来的研究方向有哪些呢
  • RLChina 回复
    J jkrs 2021-10-11 10:57:19
    请问腾讯会议号是多少啊?

    可以在 B 站直播间观看

  • jkrs 回复
    请问腾讯会议号是多少啊?
  • 张海峰 回复

    欢迎同学们留言,我们将邀请嘉宾回答问题。