RLChina
RLChina 是由国内外强化学习学者联合发起的民间学术组织，主要活动包括举办强化学习线上公开课、强化学习线上研讨会等，旨在搭建强化学习学术界、产业界和广大爱好者之间的桥梁。
发布于

实践课一：PyTorch入门

课程学习
浏览 (4492) 点赞 (17) 收藏
评论(50)
  • RLChina
    RLChina 回复
    seclee seclee 2022-08-15 15:06:51

    老师，想请教一下，转换 tensor 和 array 的时候，深浅拷贝不同的转换方法，使用中是不是需要考虑内存的占用？写代码的时候这种怎么考虑？

    感谢这位同学的提问，恭喜获赠书籍！RLChina 强化学习社区后续会送出，请在 9 月 15 日前发送您的社区昵称、注册邮箱、姓名、电话和寄送地址至官方邮箱 rlchinacamp@163.com

  • RLChina
    RLChina 回复
    Williams Williams 2022-08-15 08:46:54
    老师您好，想问下在入门pytorch框架之后，RL实战有推荐的入门比赛或github仓库吗？ 谢谢老师😃

    感谢这位同学的提问，恭喜获赠书籍！RLChina 强化学习社区后续会送出，请在 9 月 15 日前发送您的社区昵称、注册邮箱、姓名、电话和寄送地址至官方邮箱 rlchinacamp@163.com

  • RLChina
    RLChina 回复
    haijun haijun 2022-08-15 14:43:02

    老师您好，基于 pytorch 的强化学习框架比较多，他们在 pytorch 进一步封装，能达到几条命令完成算法，但是总感觉对算法的细节没有办法掌握。
    请问在实际应用中，强化学习框架和基于算法原理自写代码，我们应该偏向于哪种方案？

    感谢这位同学的提问，恭喜获赠书籍！RLChina 强化学习社区后续会送出，请在 9 月 15 日前发送您的社区昵称、注册邮箱、姓名、电话和寄送地址至官方邮箱 rlchinacamp@163.com

  • 小
    小龙虎 回复

    note: This error originates from a subprocess, and is likely not a problem with pip.
    ERROR: Failed building wheel for hanabi-learning-environment
    老师，我在下需求文件里的基本环境时出现了这个问题，该怎么解决

  • 宋研
    宋研 回复
    Jasmine Jasmine 2022-08-15 17:40:29

    我下载到本地以后 再在 anaconda prompt 里面进入到我下载的目录里 ，然后再 create env 么？

    可以 pip install . 这样就可以直接 import 了

  • 宋研
    宋研 回复
    llc llc 2022-08-15 23:47:33

    上课的一些代码跑起来还是有点问题，主要是数据和模型在 GPU 和 CPU 上的转换

    可以先考虑只在 CPU 上跑

  • llc
    llc 回复

    上课的一些代码跑起来还是有点问题，主要是数据和模型在 GPU 和 CPU 上的转换

  • seclee
    seclee 回复
    自动化所王梓薏 自动化所王梓薏 2022-08-15 22:17:45

    感谢这位同学的提问，恭喜获赠书籍！RLChina 强化学习社区后续会送出，请发送您的姓名电话和寄送地址至官方邮箱 rlchinacamp@163.com

    感谢

  • 自动化所王梓薏
    自动化所王梓薏 回复
    seclee seclee 2022-08-15 15:06:51

    老师，想请教一下，转换 tensor 和 array 的时候，深浅拷贝不同的转换方法，使用中是不是需要考虑内存的占用？写代码的时候这种怎么考虑？

    感谢这位同学的提问，恭喜获赠书籍！RLChina 强化学习社区后续会送出，请发送您的姓名电话和寄送地址至官方邮箱 rlchinacamp@163.com

  • 自动化所王梓薏
    自动化所王梓薏 回复
    Williams Williams 2022-08-15 08:46:54
    老师您好，想问下在入门pytorch框架之后，RL实战有推荐的入门比赛或github仓库吗？ 谢谢老师😃

    感谢这位同学的提问，恭喜获赠书籍！RLChina 强化学习社区后续会送出，请发送您的姓名电话和寄送地址至官方邮箱 rlchinacamp@163.com

  • 自动化所王梓薏
    自动化所王梓薏 回复
    haijun haijun 2022-08-15 14:43:02

    老师您好，基于 pytorch 的强化学习框架比较多，他们在 pytorch 进一步封装，能达到几条命令完成算法，但是总感觉对算法的细节没有办法掌握。
    请问在实际应用中，强化学习框架和基于算法原理自写代码，我们应该偏向于哪种方案？

    感谢这位同学的提问，恭喜获赠书籍！RLChina 强化学习社区后续会送出，请发送您的姓名电话和寄送地址至官方邮箱 rlchinacamp@163.com

  • RLChina
    RLChina 回复
    喝果汁不上火 喝果汁不上火 2022-08-15 17:46:51

    老师 请问哪里查看和 random 的比较结果

    及第金榜那里可以查看提交的排名哈，你在个人中心也能查看

  • 喝果汁不上火
    喝果汁不上火 回复

    老师 请问哪里查看和 random 的比较结果

  • YanSong
    YanSong 回复
    宋研 宋研 2022-08-15 13:43:08

    PyTorch 课程的课件和代码在这 👉 RLChina SummerCourse 2022

    Behaviour Cloning data: Link

  • Jasmine
    Jasmine 回复

    我下载到本地以后 再在 anaconda prompt 里面进入到我下载的目录里 ，然后再 create env 么？

  • AINova
    AINova 回复

    这算是两个智能体博弈吗老师

  • A
    amiqiu 回复
    z请问老师讲课的PPT资料在哪里可以下载到？
  • C
    clown 回复

    老师，作业是专家学习的范畴嘛，还想问下 LSTM 可以直接取代 RNN 嘛

  • I
    ironartisan 回复

    老师，一般要怎么选择 loss 函数和优化器？有何建议？

  • llc
    llc 回复

    神经网络是对损失函数进行优化，强化学习也是类似用梯度下降吗？是否还有不同的优化方法或优化器？

  • 小姚
    小姚 回复
    Q QQisQQ 2022-08-15 16:17:21

    用 Windows 环境可以做作业吗？

    可以，我就是用的 windows

  • 鱼
    鱼饼战神 回复

    老师，在小规模数据集的前提下，使用不同 batch-size 训练神经网络表现性能的极限，是否就是逼近于直接将整个数据集作为输入回归得出的效果

  • G
    Guan 回复

    实操才能进步

  • 北
    北柯 回复

    数组在维度上的运算很容易搞混，老师有什么好的记忆方法吗

  • 小
    小龙虎 回复

    老师，如果每次输入 batch size 的时候不把梯度清 0 的话，那与一般的增大 batch size 相比，有什么缺点呢，还是说两者是一个东西。

  • Jasmine
    Jasmine 回复

    等下请老师讲下今天作业的环境配置安装流程吧？下载 clone 以后一直出错，对不上流程。

  • M
    mcvoay 回复

    对于小白还是好劝退

  • 5
    555123 回复

    老师，请问训练时出现"nan"，训练时神经网络的输出都在 0-1 之间，参数也没有明显的问题，这种情况该怎么定位问题？

  • Q
    QQisQQ 回复

    用 Windows 环境可以做作业吗？

  • happy魇
    happy魇 回复

    n_worker 设置大于 1 之后，在 cuda 上训练会有莫名的报错，老师有遇到过吗？类似于进程冲突

  • S
    sakura 回复

    老师请问怎么在实际训练中，碰到损失爆炸情况，怎么定位训练过程中梯度哪里出现了问题呢？有什么比较好的解决方式吗

  • R
    rogerlv51 回复

    冲冲冲

  • seclee
    seclee 回复
    E Elwen 2022-08-15 15:11:54

    std 函数是什么呢

    标准差

  • E
    Elwen 回复

    std 函数是什么呢

  • seclee
    seclee 回复

    老师，想请教一下，转换 tensor 和 array 的时候，深浅拷贝不同的转换方法，使用中是不是需要考虑内存的占用？写代码的时候这种怎么考虑？

  • B
    babiiElaine 回复

    笔记本电脑，没有 GPU，是否可以运行强化学习代码

  • San
    San 回复

    感谢知识传授~

  • haijun
    haijun 回复

    老师您好，基于 pytorch 的强化学习框架比较多，他们在 pytorch 进一步封装，能达到几条命令完成算法，但是总感觉对算法的细节没有办法掌握。
    请问在实际应用中，强化学习框架和基于算法原理自写代码，我们应该偏向于哪种方案？

  • 无
    无你想你 回复

    老师，想问下一下 pytorch 和 tensorflow 两个之间的差别，选择哪一个会比较好？

  • L
    lynn 回复

    有没有好的方法可以在 colab 永久装包？

  • 小姚
    小姚 回复

    老师，您好，想问一下强化学习有哪些调参技巧？谢谢老师！

  • 时
    时比业 回复

    老师，只用您的环境就行吧。

  • 三
    三千繁华 回复

    最近想入门，想听这门课程。这个学习帮助我入门，并想做出点成绩。

  • YanSong
    YanSong 回复
    宋研 宋研 2022-08-15 13:43:08

    PyTorch 课程的课件和代码在这 👉 RLChina SummerCourse 2022

    若 GitHub 打不开，可以在这里找到： Gitee

    或者直接在 Colab 上实践：
    Pytorch_intro: Colab

    Pytorch_advanced: Colab

  • KRHKK
    KRHKK 回复

    下载的 GitHub 代码 torch 版本 cuda 版本经常不匹配，改完 torch 版本经常运行不了，要改很多地方的代码，怎么改比较快？

  • 2
    200w 回复

    感觉很难自己从零写一个 RL 算法，往往是从 GitHub 下载别人的再修改，您觉得有必要训练自己从零写起吗？有必要的话有哪些推荐学习路径，不需要的话有哪些推荐仓库呢？

  • 宋研
    宋研 回复

    PyTorch 课程的课件和代码在这 👉 RLChina SummerCourse 2022

  • Williams
    Williams 回复
    老师您好，想问下在入门pytorch框架之后，RL实战有推荐的入门比赛或github仓库吗？ 谢谢老师😃
  • AINova
    AINova 回复

    温故而知新

  • vinbo
    vinbo 回复

    连语言都安排一次课有点意外了