By 苏剑林 | 2019-06-03 | 18254位读者 | 引用
分类：信息时代 标签：模型, 比赛, 概率图, 信息抽取 阅读全文 43 评论
By 苏剑林 | 2019-05-28 | 13653位读者 | 引用
By 苏剑林 | 2019-05-10 | 4149位读者 | 引用
分类：信息时代 标签：概率, 能量, 优化 阅读全文 3 评论
By 苏剑林 | 2019-05-03 | 6084位读者 | 引用
分类：信息时代 标签：微分方程, 动力学, GAN 阅读全文 19 评论
By 苏剑林 | 2019-04-28 | 5313位读者 | 引用
继续“让Keras更酷一些”之旅。
今天我们会用Keras实现灵活地输出任意中间变量，还有无缝地进行权重滑动平均，最后顺便介绍一下生成器的进程安全写法。
首先是输出中间变量。在自定义层时，我们可能希望查看中间变量，这些需求有些是比较容易实现的，比如查看中间某个层的输出，只需要将截止到这个层的部分模型保存为一个新模型即可，但有些需求是比较困难的，比如在使用Attention层时我们可能希望查看那个Attention矩阵的值，如果用构建新模型的方法则会非常麻烦。而本文则给出一种简单的方法，彻底满足这个需求。
接着是权重滑动平均。权重滑动平均是稳定、加速模型训练甚至提升模型效果的一种有效方法，很多大型模型（尤其是GAN）几乎都用到了权重滑动平均。一般来说权重滑动平均是作为优化器的一部分，所以一般需要重写优化器才能实现它。本文介绍一个权重滑动平均的实现，它可以无缝插入到任意Keras模型中，不需要自定义优化器。
至于生成器的进程安全写法，则是因为Keras读取生成器的时候，用到了多进程，如果生成器本身也包含了一些多进程操作，那么可能就会导致异常，所以需要解决这个这个问题。
分类：信息时代 标签：模型, 优化, keras 阅读全文 3 评论
By 苏剑林 | 2019-04-19 | 8421位读者 | 引用
分类：信息时代 标签：模型, GAN 阅读全文 12 评论
By 苏剑林 | 2019-04-10 | 8606位读者 | 引用
By 苏剑林 | 2019-03-21 | 9517位读者 | 引用
分类：信息时代 标签：概率, 分析, 流模型, flow 阅读全文 20 评论