L2正则没有想象那么好?可能是"权...
 在NLP中,我们经常要去比较两个句子的相似度,其标准方法是想办法将句子编码为固定大小的向量,然后用某种几何距离(欧氏距离,$\cos$距离等)作为相似度.这种方案相对来说比较简单,而且检索起来比较快速,一定程度上能满足工程需求.
 此外,还可以直接比较两个变长序列的差异性,比如编辑距离,它通过动态规划找出两个字符串之间的最优映射,然后算不匹配程度;现在我们还有Word2Vec,BERT等工具,可以将文本序列转换为对应的向量序列,所以也可以直接比较这两个向量序列的差异,而不是先将向量序列弄成单个向量.
 后一种方案速度相对慢一点,但可以比较得更精细一些,并且理论比较优雅,所以也有一定的应用场景.本文就来简单介绍一下属于后者的两个相似度指标,分别简称为WMD,WRD.
 Earth Mover's Distance
 本文要介绍的两个指标都是以Wasserstein距离为基础,这里会先对它做一个简单的介绍,相关内容也可以阅读笔者旧作"从Wasserstein距离,对偶理论到WGAN".Wasserstein距离也被形象地称之为"推土机距离"(Earth Mover's Distance,EMD),因为它可以用一个"推土"的例子来通俗地表达它的含义.
 点击阅读全文...
 分类:数学研究,信息时代 标签:最优, 优化, 语义, 线性规划 阅读全文 3 评论
 关于站长
 苏剑林|BoJone,科学空间博主,数学,天文,理论物理,写作,阅读,计算机,中国象棋,厨房爱好者......目前27岁,还在单调递增.正在追一科技打杂,并致力于分享科学之美~
 你也许会关心:
 科学空间|Scientific Spaces 介绍
 科学空间QQ交流群:67729435
 科学空间微信交流群:spaces_ac_cn
 常见问题集:"科学空间FAQ"
 智能搜索
 支持整句搜索!网站自动使用结巴分词进行分词,并结合ngrams排序算法给出合理的搜索结果.
 "新理解矩阵6":为什么只有方阵有行列式?
 [欧拉数学]素数倒数之和
 [欧拉数学]素数定理及加强
 势能最小问题的探讨
 记2011北京大学天文夏令营
 唠叨下,关于三体问题周期轨道
 OCR技术浅探:6. 光学识别
 最近评论
 cxc: 苏神你好,想请教一下公式(11)是如何推导的,F(x)是指代什么?
 董凯旗: 你好我又参考了[Differential Entropy and "Limiting dens...
 Boris: 请问文中提到"现在我们可以直接从pθ(z)中采样若干个点来估算式(15)的值了,不用担心会不会...
 苏剑林: 没改过.不过就算是那时候,自监督的概念也不是我提出的,我也是听别人用到了这个词然后才用上的.
 苏剑林: 嗯,一般是直接统计就好.
 苏剑林: $=\mathop{\arg\min}\limits_{\theta}\sum\limits_...
 苏剑林: 你的思考没有问题,而且很棒,类似的思考我也有过.关键的问题在于$\log dx$在数值上不是一...
 苏剑林: 作为语言模型来说没问题,但作为mlm来说还是不够的,还是会泄漏,原因文本已经说了.
 苏剑林: xlnet只是一个单向语言模型,虽然它的顺序可以随机,但选定顺序后它就是单向的.而这篇文章要的...
 苏剑林: 可以用gpu跑.如何配置gpu环境请自行搜索.