QuantFactory/OmniLing-V1-8b-experimental-GGUF

This is quantized version of WoonaAI/OmniLing-V1-8b-experimental created using llama.cpp

Original Model Card

Это экспериментальный релиз, созданный исключительно в исследовательских целях! К сожалению, стабильная работа не гарантируется

Model overview

OmniLing - модель, созданная для переводов между русским и английским языком (пары RU->EN, EN->RU). Эта модель является тонкой настройкой AnatoliiPotapov/T-lite-instruct-0.1. Она находится на одном уровне с крупнейшими проприетарными моделями и может быть использована для качественного перевода художественных текстов, датасетов, сообщений пользователей, описаний и т.п При обучении были использованы собственноручно сгенерированные данные от более сильной модели.

Prompt Template - Llama 3 Instruct

<|start_header_id|>system<|end_header_id|>
You are helpful AI assistant<|eot_id|><|start_header_id|>user<|end_header_id|>
Translate this text from English to Russian:\n\n{text}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Recommended settings

Очень рекомендуется использовать низкую температуру T=(0.1-0.3)

Не указывайте в system prompt задачу перевести этот текст, там должно быть что-то нейтральное (e.g You are a helpful AI assistant). Указывайте сообщение в user message (см. Prompt Template), модель была обучена именно под такой формат.

Benchmark Results

Оценка проводилась в течение 10-ти итераций, где моделям предлагалось перевести небольшой литературный текст с английского на русский. В качестве модели-судьи выступала Gemini 1.5 pro experimental

AVG:

Критерий	Claude Sonnet 3.5	Gemini 1.5 pro experiment	Gemini 1.5 Flash 8b	GPT4o mini	Gemma 27b	Mistral Nemo 12B	OmniLing-V1-8b
Точность	9.1	8.6	7.4	7.7	7.6	7.0	8.0
Стилистическое соответствие	8.4	8.1	7.0	7.2	6.8	6.3	7.3
Языковая грамотность	9.3	8.9	7.9	8.2	7.6	7.0	8.3
Передача культурных особенностей	9.4	8.9	8.4	8.3	8.3	7.5	8.7
Сохранение литературных приемов	8.3	7.9	7.0	6.9	6.7	6.2	7.1
Ритм и благозвучие	8.3	7.9	7.0	7.2	7.0	6.5	7.3
Сохранение атмосферы	9.0	8.5	7.5	7.9	7.6	7.0	7.9
Адекватность перевода идиом и фразеологизмов	9.1	8.6	7.7	7.9	7.7	7.0	8.0
Сохранение характеров персонажей	9.1	8.9	8.3	8.5	8.2	7.3	8.4
Целостность и связность текста	9.3	9.0	8.2	8.5	8.1	7.4	8.4
ИТОГО	88.7	85.4	76.7	77.6	75.4	70.7	80.1

Полные итоги: https://huggingface.co/WoonaAI/OmniLing-1-8b/blob/main/ENG-RUS-Translation%20simple%20benchmark%20(full).md

Только таблицы всех итераций: https://huggingface.co/WoonaAI/OmniLing-1-8b/blob/main/ENG-RUS-Translation%20simple%20benchmark%20(only%20tables).md

Inference

Example of using model through Transformers library:

Authors

Made by PegasusYaY(AlexBefest) and secretmoon

License

This model is released under the Creative Commons Attribution-NonCommercial 4.0 International License. If you want to use this model in your commercial product, contact with us.