RLChina 前沿讲习班第1期——自动驾驶专题

两位老师的课件和回放都已更新~

CY

可以来交流一下：）

请问有回放吗，谢谢老师了。

罗老师好，我们应该在仿真器里构建逼真且多样的环境车行为，那么应该如何去评估该行为的逼真度？有一些比较受认可的量化指标么？

李老师好，我这边有几个问题

1. 强化学习在线的探索存在样本效率低且安全性无法保证，offline 的强化学习是否是强化学习在自动驾驶和工业应用中的一个重要途径？
2. 端到端的方式是否可以解决您说的观测输入的多变（当然这会引入另外一个问题，感知的精度和模型的效率）？

请问动态的他车状态和环境信息是如何输入的？

关于变动得输入数量得问题，能不能参考 openai moba 的那个经验，预留大概固定数量的视野内的车辆的数量。比如说，我们设定感知范围内最多观察到 20 辆车，10 条路，10 个指示灯等等。如果周围 object 小于这个上限时，就进行 zero padding，否则就只截取最近的 20 辆车进行观察。

请问老师状态空间是什么？

Controller 的目标是最小化路径代价，还是尽可能 follow 前面 critic 选择出来的路径？

请问李老师，path tracker 是做什么的呢？

请问可以去旁听张老师所里的组会吗？

已修改 ～ 请再试试看

请问课件怎么查看呢，点击链接后显示“您的访问受限（403）”

直播就在今晚 19：00 开始哈！！
欢迎大家积极参与，与老师互动！

罗老师课件已经更新~

只能看录播了 555

不好意思，刚样式的问题，所以再回复下。
会有录播哈回放会放在 RLChina 的 B 站上，到时也会在这个帖子里更新哈

会有录播哈回放会放在 RLChina 的 B 站上，到时也会在这个帖子里更新哈

可以在 RLChina 的 B 站直播间观看哈~这是链接：http://live.bilibili.com/22386217

同求~~~

@罗老师 老师您好！想请教一个问题，现在人工智能技术已大量应用在生活中，但局限在感知层面，逻辑推理层面的应用很少。在自动驾驶领域 safet 要求还很高，想问的是，自动驾驶领域如果化解人工智能深度神经网络的难解释性？谢谢老师~

希望可以把录播放在 B 站啊

请问有录播吗？明天时间有冲突……

请问自动驾驶中无可避免的对抗样本问题要怎么处理呢？

indeed

可以参考这一篇 https://arxiv.org/pdf/1804.05132.pdf ， 也可以关注 Yarin Gal 他们组在 AD 里的一些常识，例如 https://arxiv.org/pdf/1909.09884.pdf

老师好！在自动驾驶 AD 里我已经能够构想到设计奖励函数 reward function 的困难了，例如将大量的参照指标融入到统一的奖励函数里；在 episode length 很长的时候的 delayed feedback 的问题；以及对于多种多样的奖励函数的评测等等都是大挑战，因此想咨询下老师们对于 reward design in AD 的看法。除此之外，还想咨询一下将 inverse RL 应用于自动驾驶奖励函数的学习有哪些需要注意的地方和有潜力的研究工作。谢谢老师们。

对你这个研究方向挺感兴趣的，请问你是通过数据对 uncertainty 建模，然后基于所学习的 uncertainty 分布做 safe AD 么，有相关论文可以分享么

同问

@李老师 李老师您好！个人对自动驾驶领域很感兴趣，想请教两个问题，一是现在自动驾驶领域细分的方向有哪些？二是目前理想情况下研究的局限有哪些、研究应用到现实的局限还有那些？谢谢老师~

两位老师好，近期在 safety AD 安全自动驾驶领域有一些关于 uncertainty-aware model 的尝试，例如关于捕捉 sensor noise 和 model noise 对智能体行为的影响，以及利用 model noise 达成 risk-averse 的目的。想请教一下两位老师，对于这一具体方向研究 uncertainty 的工作有什么感想，以及老师们感觉 safety AD 的大致未来方向在哪里？ 感谢 :)

可以在 B 站直播间观看

欢迎同学们留言，我们将邀请嘉宾回答问题。