Update README.md
Browse files
README.md
CHANGED
|
@@ -29,5 +29,11 @@ language:
|
|
| 29 |
|
| 30 |
|
| 31 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 32 |
另外，模型的最终回答似乎并不一定会遵守之前的思考过程，可能会在最终回复时回复完全不同的内容，这点在使用prompt让Gemini-1.5-pro，GPT4o，gemma2-27B，Claude3.5Sonnet让闭源或者开源大模型进行思考时也会出现，个人认为这是因为模型只思考一次，在回答时发现之前的思考只考虑了回答提问的因素，与自身道德，回复逻辑不够相符，所以完全不依赖思考过程，重新回答了一遍，在此情况下，以上思考完全作废。
|
| 33 |
但是，因为我对CoT进行了调整，主要目的从**分步执行**转变为了**思维发散**，所以我认为可以通过多次发散思维并进行多步CoT得到多个思考过程，让模型进行路由选择可以极大幅度降低此问题的触发概率。
|
|
|
|
| 29 |
|
| 30 |
|
| 31 |
|
| 32 |
+
当然，我也测试过热门问题，如：“9.8和9.11哪个大？”这样的问题在RWKV的过程表示中则显得更加奇怪，甚至有时不会回答大或者小，如图（除了和训练语料有关系，RWKV6的词表的数字从0-99都有一个对应的词元，即相当于100进制，这样的词表问题也导致了这样的回答出现问题的发生。）
|
| 33 |
+
|
| 34 |
+
|
| 35 |
+
|
| 36 |
+
|
| 37 |
+
|
| 38 |
另外，模型的最终回答似乎并不一定会遵守之前的思考过程，可能会在最终回复时回复完全不同的内容，这点在使用prompt让Gemini-1.5-pro，GPT4o，gemma2-27B，Claude3.5Sonnet让闭源或者开源大模型进行思考时也会出现，个人认为这是因为模型只思考一次，在回答时发现之前的思考只考虑了回答提问的因素，与自身道德，回复逻辑不够相符，所以完全不依赖思考过程，重新回答了一遍，在此情况下，以上思考完全作废。
|
| 39 |
但是，因为我对CoT进行了调整，主要目的从**分步执行**转变为了**思维发散**，所以我认为可以通过多次发散思维并进行多步CoT得到多个思考过程，让模型进行路由选择可以极大幅度降低此问题的触发概率。
|