Model goes crazy if it tries to translate a large amount of Japanese text
I tried to translate a snippet of text from the Japanese version of 1984, as it seems to be hard to translate for open source LLMs and works as a good test both ways EN->JP or JP->EN. For some reason 8/10 times it will get the first few words right, then slowly drift into insanity and hallucinating everything making up complete nonsense that was never in the original text. Note: I am just using it as a example, purely because it is hard to translate and no other reasons
I have noticed however, if you point out that it made everything up it will give a correct translation a lot of the time. This seems like a bug in the training data or model or something
Thanks for bringing this up! That's interesting. Have you tried translating any other document-level data and observed similar behavior?
No, will try it tomorrow it's quite late. But for now I wanted to add another test I tried before, I thought it might because it has line breaks in weird places, but I went and remove them and same result oddly. I feel like maybe this might just be really strange failure case that is consistent across generations, but I haven't seen something like this before. Most of the time when model is too dumb to translate something, it will still get 50% of the way there just wording things weirdly, using English words, and messing up grammar in weird ways. Usually doesn't just invent things. Also, feel like this is something the model definitely should be able to do easily, I've seen it do much more complex things in Japanese without fail. But also wanted to say thanks for making this model, it's the closest a model has been for replacing proprietary offerings for my needs since most models completely fail at Japanese. This one just seems to have weird issue in the case of translation, does fine conversationally usually seemingly can even break down grammar structures which is the use case I wanted to use such a model for, if this can be fixed somehow I think I will use this model for my Japanese studies for sure. Only other thing holding it back for me is not really it's fault but just the fact it's slow on my CPU and 64GBs of RAM can't really be helped without making it worse for now, maybe bitnet could address this in a way in the future perhaps though, but this might be risky since it's unproven with it's scalability past like test models which where quite small. But I guess there is also MoE and Jamba/Mamba which is a little more tested to work well at least all the way up to 50B and 8x7b. Also, seems good at writing in Japanese, so I think I'll learn a lot of words this way perhaps
Also, here is the text that got me this result. Only giving the first page since it's technically still copyrighted. I think first page is fine though might be considered fair use since it's only a snippet and for educational reasons I guess. But I'm not a lawyer I hope it would be obvious
四月の晴れた寒い日で、時計がどれも 13 時を打っていた。ウィンストン・スミスは、
嫌な風を逃れようとしてあごを胸に埋めたまま、勝利マンションのガラス戸を急いですべ
りぬけたが、ほこりっぽいつむじ風がいっしょに入ってくるのを防げるほどは素早くな
かった。
廊下は茹でキャベツと古いぼろマットのようなにおいがした。片方のつきあたりに画鋲
で張られたカラーポスターは、屋内用には大きすぎた。描かれているのは、幅一メートル
以上ある巨大な顔だけ。四十五歳くらいの男の顔で、濃く黒い口ひげと、頑強そうでハン
サムな顔立ちだ。ウィンストンは階段に向かった。エレベータを使おうとしても無駄だ。
調子がいいときでも滅多に動かなかったし、今は昼間には電気が切られていた。憎悪週間
に向けた準備のために経済キャンペーンの一環だ。アパートは七階にあったので、三十九
歳で右のかかとの上に静脈瘤の潰瘍があるウィンストンは、ゆっくりと階段をのぼり、途
中で何度か休憩した。エレベータシャフトの向かいにある踊り場ごとに、あの巨大な顔の
ポスターが壁から見つめていた。実に作り物めいていて、こちらが動くとその視線が追い
かけてくるような気がする類の絵だ。「ビッグ・ブラザーは見ている」とポスター下の標
語に書かれている。
アパートの中では甘ったるい声が、鋳鉄の生産がらみの一連の数字を読み上げていた。
その声は、曇った鏡のような長方形の金属板から流れている。右手の壁面の一部となって
いる金属板だ。ウィンストンがスイッチをひねると、声は多少小さくなったが、まだこと
ばは聞き取れた。その装置（テレスクリーンと呼ばれる）は暗くはできても、完全に切る
ことはできなかった。窓に近寄る。小柄で弱々しい姿、肉体の貧弱さは党の制服である青
いオーバーオールでかえって強調されている。髪は薄い金色で、顔は生まれつき血色がよ
く、粗悪なせっけんと切れ味の悪いカミソリと、終わったばかりの冬の寒さのために肌は
荒れている。
外を見ると、閉じた窓越しでも世界は寒そうだった。眼下の通りでは、小さな風の渦が
ほこりや紙の切れ端をくるくると舞い上げ、日が照って空は濃い青だというのに、すべて
は色彩がなかった。ただそこらじゅうにべたべた貼られたポスターだけが例外だった。黒
い口ひげ顔は、街角に面したあらゆる位置から見下ろしていた。真向かいの建物の正面に
も貼られている。「ビッグ・ブラザーは見ている」と標語が書かれ、黒い目がウィンスト
ンの目を深く見抜いている。通りの高さに貼られた別のポスターは隅が破け、風の中で気
ぜわしくはためいて、それがたった一語「イ ン グ ソ ッ ク
英社主義」を隠したり見せたりしている。はる
か彼方ではヘリコプターが屋根の間を降下し、一瞬デンキクラゲのように漂ったかと思う
と、曲線の軌跡を描いて飛び去っていった。警察のパトロールが人々の窓をのぞき込んで
いるのだ。でもパトロールはどうでもよかった。重要なのは思考警察だけだった
I have read though it myself and it's mostly faithful to the original, this version also has the weird line breaks but you can remove them and get similar weird results. There is also some other weird formatting, but rather minor and something it probably should be able to ignore intuitively, might just be a case of garbage in garbage out. But I guess it could still technically be considered a issue since other LLMs don't struggle as much with the same thing in my testing