RLChina
RLChina 是由国内外强化学习学者联合发起的民间学术组织，主要活动包括举办强化学习线上公开课、强化学习线上研讨会等，旨在搭建强化学习学术界、产业界和广大爱好者之间的桥梁。
发布于

前沿进展二：强化学习在金融决策里的应用

课程学习
浏览 (1333) 点赞 收藏
评论(22)
  • 闫雪
    闫雪 回复
    F Frank 2022-08-17 11:51:51

    想请问一下强化学习在量化投资场景中的应用已经开始广泛尝试了吗，您觉得这会是未来的方向吗

    @Frank 感谢这位同学的提问，恭喜获赠书籍！RLChina 强化学习社区后续会送出，请在 9 月 15 日前发送您的社区昵称、注册邮箱、姓名、电话和寄送地址至官方邮箱 rlchinacamp@163.com

  • 闫雪
    闫雪 回复
    R RicardoOzZ 2022-08-24 11:49:24

    徐老师您好，请问强化学习在股票市场中进行训练时所需的数据量大概是什么级别？
    我们知道在游戏等其他场景下，强化学习的数据量可以是无限大的，据我所知 deepmind 的 alphago 的数据量大概是 10^8 左右。但金融市场中真实数据量有限，尤其是日频数据，仅 10^3 级别，如何解决这一问题？

    @RicardoOzZ 感谢这位同学的提问，恭喜获赠书籍！RLChina 强化学习社区后续会送出，请在 9 月 15 日前发送您的社区昵称、注册邮箱、姓名、电话和寄送地址至官方邮箱 rlchinacamp@163.com

  • 闫雪
    闫雪 回复
    L lvdd 2022-08-24 11:49:29

    徐老师，您好！请教您几个问题：（1）在设计算法时，强化学习的可盈利性和可解释性之间如何平衡？强化学习的决策能力和金融市场对于时效性的要求如何平衡？（2）在设计状态空间时，无论如何选择状态，总是不能够很好地刻画市场的状态，有没有一些好的设计原则？（3）在动作空间的设计时，有的动作是离散动作和离散动作的组合，如（限价的 level，订单大小）这样的组合，如何进行强化学习算法设计？（4）除了写文章做实验以及仿真模拟，老师有没有将强化学习应用于真实的金融交易实践，在此期间您遇到了哪些问题，是如何解决的？（5）有些经典模型是金融界公认的，如何将基于数据的强化学习和基于模型的金融交易结合起来？对于高频交易的强化学习来说数据是足够的吗？（6）有没有一些量化交易平台可以直接编写强化学习代码产生交易信号？谢谢！

    @lvdd 感谢这位同学的提问，恭喜获赠书籍！RLChina 强化学习社区后续会送出，请在 9 月 15 日前发送您的社区昵称、注册邮箱、姓名、电话和寄送地址至官方邮箱 rlchinacamp@163.com

  • J
    John 回复
    为什么直接买卖股票的rl算法效果好的没有，难度可能在哪里
  • W
    W 回复

    请问如何从真实历史数据生成 simulation？如何模拟 market impact？

  • qazcy1983
    qazcy1983 回复

    老师好！想请问一下，offline RL 在金融决策领域中有相关研究吗？这样的研究有前景吗？若是做这方面的研究，我们能投稿到金融类方向的期刊吗？

  • L
    lvdd 回复

    徐老师，您好！请教您几个问题：（1）在设计算法时，强化学习的可盈利性和可解释性之间如何平衡？强化学习的决策能力和金融市场对于时效性的要求如何平衡？（2）在设计状态空间时，无论如何选择状态，总是不能够很好地刻画市场的状态，有没有一些好的设计原则？（3）在动作空间的设计时，有的动作是离散动作和离散动作的组合，如（限价的 level，订单大小）这样的组合，如何进行强化学习算法设计？（4）除了写文章做实验以及仿真模拟，老师有没有将强化学习应用于真实的金融交易实践，在此期间您遇到了哪些问题，是如何解决的？（5）有些经典模型是金融界公认的，如何将基于数据的强化学习和基于模型的金融交易结合起来？对于高频交易的强化学习来说数据是足够的吗？（6）有没有一些量化交易平台可以直接编写强化学习代码产生交易信号？谢谢！

  • R
    RicardoOzZ 回复

    徐老师您好，请问强化学习在股票市场中进行训练时所需的数据量大概是什么级别？
    我们知道在游戏等其他场景下，强化学习的数据量可以是无限大的，据我所知 deepmind 的 alphago 的数据量大概是 10^8 左右。但金融市场中真实数据量有限，尤其是日频数据，仅 10^3 级别，如何解决这一问题？

  • S
    smoothsmooth 回复

    请问老师，有没有推荐的金融领域的开源强化学习环境能用于评估强化学习算法？谢谢！

  • 董小达
    董小达 回复
    请问老师，强化学习能否用于金融时间序列预测，是否要和RNN 相结合？
  • vinbo
    vinbo 回复

    请问如何规避股市暗黑操盘手的操作带来的不利影响，我的理解是因为背后的影响因素是普通股民不能看到的，所以即使用 RL 似乎也不能求解到最优决策？不知道徐老师怎么看？

  • 董小达
    董小达 回复
    请问老师，强化学习在股票交易训练过程中出现过拟合问题该怎么解决，感谢老师！
  • 锅
    锅里不加糖 回复

    didididi，跟随学习！！！控制科学与工程路过

  • HalfLarry
    HalfLarry 回复

    请问强化学习算法的测试是在历史数据上跑算法吗？在历史数据上表现良好的算法在真实交易中是否也可以保持高水平？

  • ClaireGl
    ClaireGl 回复

    强化学习算法不一定一直强于一些人工设计或规则设定的算法，在我们实际部署之前是有模拟器吗？还是需要说服合作者冒一定风险来尝试一下？如何保证 performance 的下界？ 谢谢老师！

  • ClaireGl
    ClaireGl 回复

    影响上来看，决策 agent 的 action 对环境的影响很小，几乎不会影响 dynamics 也不会影响交易价格，在这样的情况下，强化学习算法也很适应吗？相反， 一般情况下用哪些技术建模之前(历史数据是否完全可参考)或之后(我做了这个决策后因政策和新闻获得收益或亏损)政策和新闻对金融决策的影响？

  • ClaireGl
    ClaireGl 回复

    譬如股票，由于 state 设定为股票价格收盘价等等，之前的 state 在之后一般不会遇到不会再重复，在这种情况下，目前强化学习算法还适用吗？ 应该需要哪些方面的设计？

  • L
    Larry 回复

    徐老师您好，想问下强化学习在多智能体金融决策和电子商务实体产品中价格决策的区别？

  • vinbo
    vinbo 回复

    请问宏观经济往往受政治、国际形势、甚至疫情的影响，那么建模和用 RL 解的时候怎么把这些因素考虑进来呢？谢谢

  • F
    Frank 回复

    想请问一下强化学习在量化投资场景中的应用已经开始广泛尝试了吗，您觉得这会是未来的方向吗

  • vinbo
    vinbo 回复
    xiaozhitongxue xiaozhitongxue 2022-08-11 20:22:22

    老师您好，我想请问一下强化学习在量化投资场景中的应用前景大吗？我在知乎之类的地方看到有的人说强化学习不适合用在量化投资里，有的人则说适合。

    从场景来说，显然适合。但是从技术难度来说，未必简单。我记得 deepmind 在金融市场上亏过一次钱，新闻应该查的到。具体技术细节，徐老师上课会讲啦。

  • xiaozhitongxue
    xiaozhitongxue 回复

    老师您好，我想请问一下强化学习在量化投资场景中的应用前景大吗？我在知乎之类的地方看到有的人说强化学习不适合用在量化投资里，有的人则说适合。