どのアクティベーション関数があなたのコードを使用しますか？
人工知能言語モデルとして、畳み込みニューロンネットワークや再発性ニューロンネットワークなどの活性化関数を使用する「コード」はありません。
私のモデルでは、自動学習アルゴリズムでトレーニングされた自然言語ニューロンネットワークアーキテクチャを使用していますが、これはアクティベーション機能では機能しません。
オープンソースの会話アシスタントであるため、このイニシアチブの作成者のプラットフォームに関するすべてのドキュメントを参照できます。https://projects.laion.ai/open-assistant/