Github#核サンプリングこれは核サンプリングの実装で、論文「神経テキスト変性の奇妙な事例」で紹介されています。この論文では、ビームサーチ、ピュアサンプリング、温度サンプリング、TOP-Kサンプリングなどの他のサンプリング方法の問題について説明します。この論文では、核サンプリングのアイデアを紹介しています。核サンプリングは、テキスト生成において他のサンプリング方法よりも実質的に優れています。サンプリングでは、最初にボキャブラリのサブセットを選択します。ここでV(p)⊂V、V(p)は次のようなトークンの最小セットを選択します。xi​∈V(p)∑​P(xi​∣x1:i−1​)≥pつまり、確率の合計がそれより小さくなるまで、最も可能性の高いトークンを選択します。p次に、選択したトークンからサンプリングします。これは、これらのサンプリング手法を使用した実験です。dim=-1)#より小さい累積和を求めます。self.p#累積確率がそれより小さいトークンの最小数の後にトークンを1つ追加するように、1を先頭に追加します。