《暗时间》书摘

豆瓣链接

• 贝叶斯

  • 先验概率（模型的本身可能的概率， 奥卡姆剃刀）
  • 后验概率（模型生成样本的概率，最大化后验概率就是极大似然估计）
  • 模型泛化（过拟合、欠拟合也就是在先验概率、后验概率平衡）
  • 没有先验概率的时候，假设虽有模型概率一致，这就用到最大似然估计
  • 贝叶斯+奥卡姆剃刀（不考虑先验概率） 听起来还是个极大似然估计（后验概率）的问题
  • 信息论+贝叶斯： 一个模型的好坏取决于模型的编码长度lg(先验概率)+这个模型下数据的编码长度lg(后验概率)
  • 强化学习是一种复杂模型（模型编码长度长）？ 还是一个简单模型，用多个步骤来求解呢？