评论(5)
请
登录后发表观点
-
抱歉，这个系统使用的不是特别熟练，刚才没有编辑完就发出来了；并且不让我两条消息间隔太短，我就换了一个账号我接着上条继续提问；是否有现有的工作分析这种简化在各维度间相关性很强的时候所造成的误差呢？ Bayesian Model 我也有在关注，如果大佬能帮忙推荐几篇相关的研究 NN 的 covariance matrix 的工作以及 BayesianModel 如何考虑各维之间的协方差的工作，那就太感谢啦~
在 bayesian neural network 里倒是挺多的，比如 structured covariance approximation, normalising flow, implicit models, etc.
另外还一看看 Yarin Gal 的这篇《Try Depth Instead of Weight Correlations: Mean-field
is a Less Restrictive Assumption for Variational
Inference in Deep Networks》挺有意思的。 -
非常感谢大佬的评论！目前我有这样一个 setting：类似于 mbpo 的 Probabilistic ensemble NN 训练多个神经网络模型，最后输出的模型一致性非常的差。各个模型间的差异的极值非常的大。由于是刚接触 model based RL，在分析问题的时候，产生了原帖中的疑问，并在思考模型一致性非常差的原因是否是由于这个简化导致的呢？这种简化在各维度输出间的相关性很强的时候是否会造成
小白而已，客气了。能更具体的讲讲模型的差异的极值是什么吗，应用在什么数据上，是 sequential 的吗？我觉得你可以先固定 covariance 先看看效果。
-
感觉大部分是为了简化模型吧，covariance matrix 需要保证 symmetric 和 positive semi-definite, 而 diagonal covariance 可能只需要在输出上套个 exp()。 另外 diagonal cov 也更容易 sample, 当然如果用一些 factorisation 比如说 cholesky 也可以， 但可能会更复杂。
另外在 Bayesian modelling 里也有很多考虑参数概率分布各维之间的协方差的工作，有兴趣的话可以讨论下 ～
抱歉，这个系统使用的不是特别熟练，刚才没有编辑完就发出来了；并且不让我两条消息间隔太短，我就换了一个账号我接着上条继续提问；是否有现有的工作分析这种简化在各维度间相关性很强的时候所造成的误差呢？ Bayesian Model 我也有在关注，如果大佬能帮忙推荐几篇相关的研究 NN 的 covariance matrix 的工作以及 BayesianModel 如何考虑各维之间的协方差的工作，那就太感谢啦~
-
感觉大部分是为了简化模型吧，covariance matrix 需要保证 symmetric 和 positive semi-definite, 而 diagonal covariance 可能只需要在输出上套个 exp()。 另外 diagonal cov 也更容易 sample, 当然如果用一些 factorisation 比如说 cholesky 也可以， 但可能会更复杂。
另外在 Bayesian modelling 里也有很多考虑参数概率分布各维之间的协方差的工作，有兴趣的话可以讨论下 ～
非常感谢大佬的评论！目前我有这样一个 setting：类似于 mbpo 的 Probabilistic ensemble NN 训练多个神经网络模型，最后输出的模型一致性非常的差。各个模型间的差异的极值非常的大。由于是刚接触 model based RL，在分析问题的时候，产生了原帖中的疑问，并在思考模型一致性非常差的原因是否是由于这个简化导致的呢？这种简化在各维度输出间的相关性很强的时候是否会造成
-
感觉大部分是为了简化模型吧，covariance matrix 需要保证 symmetric 和 positive semi-definite, 而 diagonal covariance 可能只需要在输出上套个 exp()。 另外 diagonal cov 也更容易 sample, 当然如果用一些 factorisation 比如说 cholesky 也可以， 但可能会更复杂。
另外在 Bayesian modelling 里也有很多考虑参数概率分布各维之间的协方差的工作，有兴趣的话可以讨论下 ～