diff --git "a/tests/toydata/eval_results/AIR-Bench_24.05/bge-m3/NoReranker/results.json" "b/tests/toydata/eval_results/AIR-Bench_24.05/bge-m3/NoReranker/results.json" new file mode 100644--- /dev/null +++ "b/tests/toydata/eval_results/AIR-Bench_24.05/bge-m3/NoReranker/results.json" @@ -0,0 +1,14492 @@ +[ + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "ndcg_at_1", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.20086 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.26162 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.20116 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.53435 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.4404 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.40059 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.53152 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.48355 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.47964 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.55605 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.51876 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.53905 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.50943 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.51113 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.48749 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.5466 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.4902 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.49341 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.498 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.61199 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.45246 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.48994 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.48738 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.43075 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.39574 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.65239 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.69754 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.6994 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.68044 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.775 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.66739 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.73562 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.70557 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.72688 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.68087 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.64886 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.72802 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.64525 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.43899 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.63459 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.53809 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.53221 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.53155 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.55306 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.56922 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.53874 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.55088 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.5938 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.54698 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.55839 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.55447 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.55548 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.57517 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "ndcg_at_3", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.18331 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.24047 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.18059 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.48632 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.43908 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.38021 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.46039 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.41813 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.4368 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.48249 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.45349 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.48673 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.45919 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.46276 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.52564 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.48407 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.42002 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.44348 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.42871 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.51274 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.43937 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.42743 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.49137 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.38355 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.40993 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.62086 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.64641 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.59066 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.58416 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.66518 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.6187 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.63943 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.59534 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.60023 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.58508 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.60594 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.61504 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.57075 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.38602 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.54349 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.48758 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.5067 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.48113 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.49726 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.53228 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.49155 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.51085 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.53187 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.50594 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.51057 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.49487 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.51699 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.52144 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "ndcg_at_5", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.18251 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.2473 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.17851 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.47684 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.44824 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.37904 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.43469 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.40271 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.42474 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.45926 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.42606 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.46404 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.44476 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.45229 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.55326 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.46302 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.39021 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.45771 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.40163 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.5021 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.45021 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.40195 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.50558 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.37544 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.42647 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.63295 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.66471 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.59908 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.57667 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.66065 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.62783 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.638 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.58609 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.59189 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.58327 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.6243 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.61415 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.57512 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.3879 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.52582 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.48511 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.50712 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.47582 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.49968 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.53902 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.48989 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.50478 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.52701 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.51846 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.5176 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.49343 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.52165 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.51719 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "ndcg_at_10", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.202 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.26951 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.2011 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.49516 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.47336 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.41001 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.44932 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.42124 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.447 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.47453 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.43813 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.48135 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.47087 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.4787 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.59026 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.48306 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.39289 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.49047 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.42314 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.5305 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.48996 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.41436 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.52921 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.40227 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.45763 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.66036 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.69696 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.63516 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.59646 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.6902 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.65401 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.66297 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.61145 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.62361 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.60864 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.64682 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.64326 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.60176 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.41639 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.55185 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.5146 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.53881 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.50202 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.52527 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.57061 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.51779 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.53144 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.55805 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.55285 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.54746 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.51893 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.5553 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.54533 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "ndcg_at_50", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.26121 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.3251 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.26118 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.57818 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.53967 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.49077 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.54763 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.51881 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.54005 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.58145 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.54961 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.58724 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.56083 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.56491 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.63128 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.57611 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.49994 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.54759 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.52125 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.61006 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.55998 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.52079 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.56618 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.48727 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.50036 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.69944 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.72937 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.68185 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.65621 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.74084 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.69377 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.71559 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.67661 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.68302 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.66438 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.68574 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.69751 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.66044 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.47708 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.63686 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.59266 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.59854 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.57253 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.59855 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.63767 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.59294 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.61422 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.63746 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.61469 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.61337 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.60013 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.62269 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.6235 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "ndcg_at_100", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.27993 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.34058 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.27928 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.60179 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.55488 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.51095 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.57351 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.54926 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.56443 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.60849 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.57925 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.61073 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.58109 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.58532 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.64181 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.60092 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.53528 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.56219 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.54579 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.63281 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.57214 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.55573 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.57335 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.50471 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.51367 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.70927 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.73648 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.6929 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.67345 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.75344 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.70384 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.72763 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.69133 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.69803 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.67761 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.69626 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.71228 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.67434 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.49353 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.65893 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.60795 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.61101 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.58747 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.61273 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.64941 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.60968 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.63255 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.65333 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.62965 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.62957 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.61643 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.63699 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.63881 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "ndcg_at_1000", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.31378 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.37556 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.3158 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.62319 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.57758 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.54425 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.59916 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.57669 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.58951 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.63277 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.60521 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.63247 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.60332 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.60655 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.65102 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.624 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.56974 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.58487 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.57959 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.65305 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.58818 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.58775 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.58937 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.53265 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.54012 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.71986 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.74405 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.70944 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.69004 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.76441 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.71648 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.73969 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.7066 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.71403 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.69232 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.70656 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.72529 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.6888 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.5257 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.67818 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.62462 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.6276 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.61016 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.63077 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.66323 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.62809 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.64974 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.66935 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.64533 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.64626 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.63364 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.6505 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.65527 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "map_at_1", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.05412 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.10262 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.04887 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.20167 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.20012 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.12443 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.14347 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.14255 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.1689 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.1399 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.11778 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.13501 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.14555 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.17593 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.33006 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.16607 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.12512 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.21743 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.10245 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.25477 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.18368 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.11819 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.30692 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.11154 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.2018 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.42277 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.40668 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.37059 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.33475 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.40962 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.42388 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.39711 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.31906 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.32033 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.34479 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.39668 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.37883 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.32119 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.1918 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.23369 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.21762 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.24772 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.20877 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.22703 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.25261 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.22435 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.21213 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.21605 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.26362 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.25658 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.23398 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.26156 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.24011 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "map_at_3", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.09176 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.15875 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.08992 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.30345 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.30739 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.21666 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.24013 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.22325 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.25908 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.2438 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.21472 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.24279 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.25086 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.2807 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.44976 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.26782 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.20957 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.32969 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.1943 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.34612 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.29452 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.20923 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.41845 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.20167 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.33591 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.52578 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.54481 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.47105 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.43534 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.52929 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.51936 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.50243 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.43133 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.43961 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.449 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.50866 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.48479 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.43541 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.27315 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.33888 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.31989 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.36238 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.31639 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.3345 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.37678 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.32317 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.32652 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.33572 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.37206 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.36278 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.3298 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.37682 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.34624 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "map_at_5", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.11143 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.18187 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.10919 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.34435 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.34931 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.26092 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.28481 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.26194 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.29569 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.29275 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.26063 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.2948 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.29985 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.32643 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.48333 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.31272 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.24375 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.36708 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.24187 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.3822 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.343 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.25197 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.4481 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.24733 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.36966 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.5536 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.58667 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.50633 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.47187 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.56412 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.54641 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.53832 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.47085 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.47702 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.4796 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.54081 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.51795 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.47179 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.29924 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.38339 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.36363 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.40319 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.35864 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.38129 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.4266 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.36672 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.37393 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.38942 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.41705 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.40479 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.37129 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.41733 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.38999 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "map_at_10", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.13516 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.20575 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.13186 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.38852 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.39157 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.30395 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.33297 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.30537 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.33576 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.35165 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.31293 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.35642 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.35609 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.37293 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.50999 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.36411 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.27802 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.39575 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.29748 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.41925 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.38966 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.30116 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.47236 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.29203 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.39599 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.57592 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.61743 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.53718 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.50268 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.59647 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.57251 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.56774 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.50619 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.51378 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.50705 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.56178 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.54737 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.50172 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.32427 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.42937 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.40574 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.44448 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.39898 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.42008 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.46832 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.41009 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.41984 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.44187 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.45396 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.44129 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.41069 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.45872 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.43519 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "map_at_50", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.15754 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.22706 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.15394 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.42784 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.42311 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.34096 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.37991 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.3487 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.37773 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.40647 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.36745 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.41275 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.401 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.413 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.52502 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.40841 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.32306 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.4178 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.34508 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.45383 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.42216 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.35072 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.48768 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.33145 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.41213 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.59203 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.63241 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.55709 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.52982 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.6195 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.58956 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.59181 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.53619 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.54097 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.53239 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.57771 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.57071 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.52801 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.34688 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.47025 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.44179 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.47143 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.43268 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.45396 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.50063 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.44475 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.45975 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.48326 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.48055 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.47131 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.44877 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.48914 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.47312 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "map_at_100", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.16046 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.22948 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.15673 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.43259 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.42581 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.34468 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.38556 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.35511 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.38273 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.41262 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.37434 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.41825 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.40536 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.4174 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.52655 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.41372 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.33058 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.42012 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.35038 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.45856 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.42437 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.35847 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.48876 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.33476 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.41397 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.59378 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.63364 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.55903 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.53297 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.62194 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.59137 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.59419 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.53912 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.54388 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.53493 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.57953 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.57348 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.53065 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.34965 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.47509 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.44493 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.47363 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.43547 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.45678 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.50288 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.44817 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.46372 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.4866 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.48336 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.47432 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.45222 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.49194 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.47632 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "map_at_1000", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.16273 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.23145 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.15897 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.43491 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.42734 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.34724 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.38857 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.35835 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.38568 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.41579 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.37752 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.42087 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.40757 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.41963 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.5271 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.41652 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.33538 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.42166 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.35347 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.46088 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.4255 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.36289 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.48944 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.3371 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.41545 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.59468 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.63416 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.56027 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.53464 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.62294 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.59244 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.59539 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.54077 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.54546 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.53616 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.58035 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.57471 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.53198 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.35183 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.47753 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.44635 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.47496 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.43714 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.45837 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.50406 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.45001 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.46556 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.48816 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.48472 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.47584 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.4538 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.49312 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.47801 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "recall_at_1", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.05412 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.10262 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.04887 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.20167 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.20012 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.12443 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.14347 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.14255 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.1689 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.1399 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.11778 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.13501 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.14555 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.17593 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.33006 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.16607 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.12512 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.21743 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.10245 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.25477 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.18368 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.11819 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.30692 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.11154 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.2018 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.42277 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.40668 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.37059 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.33475 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.40962 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.42388 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.39711 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.31906 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.32033 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.34479 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.39668 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.37883 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.32119 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.1918 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.23369 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.21762 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.24772 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.20877 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.22703 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.25261 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.22435 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.21213 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.21605 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.26362 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.25658 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.23398 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.26156 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.24011 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "recall_at_3", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.11424 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.19337 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.1134 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.34694 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.35722 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.257 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.26925 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.25468 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.30227 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.27403 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.24639 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.27683 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.28745 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.31921 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.53605 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.30358 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.24223 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.38011 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.22476 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.38181 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.35148 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.2355 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.46681 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.23971 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.39012 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.59285 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.59662 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.51326 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.47147 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.5693 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.567 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.54702 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.47292 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.48192 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.49954 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.57184 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.5252 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.48903 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.31892 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.38024 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.3691 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.41829 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.36122 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.3838 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.43161 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.37161 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.37631 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.38314 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.42342 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.41906 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.37422 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.42842 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.39358 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "recall_at_5", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.15732 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.24424 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.15565 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.42161 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.43534 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.3406 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.34579 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.32826 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.37317 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.35617 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.32347 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.3624 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.37363 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.40026 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.62669 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.38278 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.30452 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.46587 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.30881 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.45255 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.44851 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.30803 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.53015 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.32521 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.45634 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.65811 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.67772 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.58747 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.53765 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.63195 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.62875 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.61598 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.54613 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.55479 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.56564 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.64592 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.59265 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.56735 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.37966 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.46262 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.45673 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.49503 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.44107 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.47522 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.52488 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.45716 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.46357 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.48009 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.51656 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.50891 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.45777 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.5073 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.47747 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "recall_at_10", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.22893 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.31227 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.23018 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.52489 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.53221 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.45739 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.46054 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.43897 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.4795 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.49004 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.44511 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.49683 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.50087 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.51479 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.72682 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.50564 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.39365 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.55569 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.43793 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.55773 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.57373 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.423 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.5973 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.43259 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.5386 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.73135 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.76124 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.68223 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.61635 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.71841 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.70465 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.69528 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.63998 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.65268 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.64759 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.71189 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.67754 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.64959 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.46528 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.5762 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.5688 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.60089 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.54589 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.57582 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.63854 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.56707 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.58081 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.60034 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.62041 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.60904 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.56515 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.62069 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.59344 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "recall_at_50", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.3915 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.47872 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.39487 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.7408 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.71854 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.67416 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.71316 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.69311 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.7221 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.75626 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.72236 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.76049 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.73318 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.7423 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.8674 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.74629 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.66091 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.72975 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.68627 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.77933 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.78183 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.68614 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.71718 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.66131 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.6784 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.84705 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.85861 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.82185 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.78732 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.8684 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.82222 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.84655 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.82362 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.82325 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.80639 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.82845 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.83813 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.81797 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.65029 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.80189 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.78298 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.77423 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.74057 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.78478 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.83052 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.77186 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.80201 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.81354 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.799 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.79451 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.78242 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.81641 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.80434 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "recall_at_100", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.46315 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.54387 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.4647 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.8273 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.78039 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.75306 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.80494 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.80431 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.81241 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.85056 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.82385 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.84328 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.80745 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.81658 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.92095 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.83689 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.78331 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.79583 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.77593 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.86684 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.83442 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.80466 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.75283 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.72846 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.74 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.88911 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.89034 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.86882 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.85765 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.92053 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.86331 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.89472 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.8822 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.88405 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.86067 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.87433 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.89941 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.87361 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.72112 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.88422 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.84187 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.8259 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.80153 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.84168 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.87977 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.83622 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.87041 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.87604 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.85987 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.86005 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.84458 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.87404 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.86295 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "recall_at_1000", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.64007 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.76027 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.66007 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.92901 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.90868 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.92651 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.92222 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.9279 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.9261 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.95597 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.93846 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.94168 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.91477 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.92015 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.98443 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.94147 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.92598 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.92816 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.9414 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.9664 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.93522 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.93909 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.87033 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.87373 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.9244 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.94609 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.93745 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.96126 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.94407 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.97986 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.93223 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.95595 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.95837 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.96733 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.94076 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.93331 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.96811 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.95082 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.90905 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.97217 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.93042 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.91966 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.92875 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.93921 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.96062 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.92967 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.95648 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.96112 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.9446 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.94556 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.93515 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.95119 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.94518 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "precision_at_1", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.20086 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.26162 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.20116 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.53435 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.4404 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.40059 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.53152 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.48355 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.47964 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.55605 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.51876 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.53905 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.50943 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.51113 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.48749 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.5466 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.4902 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.49341 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.498 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.61199 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.45246 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.48994 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.48738 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.43075 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.39574 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.65239 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.69754 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.6994 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.68044 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.775 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.66739 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.73562 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.70557 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.72688 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.68087 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.64886 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.72802 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.64525 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.43899 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.63459 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.53809 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.53221 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.53155 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.55306 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.56922 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.53874 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.55088 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.5938 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.54698 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.55839 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.55447 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.55548 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.57517 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "precision_at_3", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.16117 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.18344 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.16208 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.37599 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.32482 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.33014 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.39589 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.35002 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.34937 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.42306 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.40572 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.43285 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.39381 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.37587 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.29738 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.40705 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.3635 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.32504 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.394 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.37136 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.33796 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.37892 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.29574 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.34211 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.28766 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.3448 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.40328 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.37326 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.38893 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.42721 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.35242 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.40107 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.41642 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.42124 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.37756 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.35209 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.38851 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.37731 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.27581 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.42161 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.37154 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.36042 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.3707 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.37195 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.39236 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.36672 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.39626 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.42122 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.35625 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.36221 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.3629 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.36527 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.38705 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "precision_at_5", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.14103 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.14906 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.13849 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.30484 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.26718 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.2785 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.32407 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.29213 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.28157 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.35192 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.33997 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.36337 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.32975 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.30371 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.2195 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.33018 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.28974 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.24846 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.3336 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.28826 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.27994 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.31279 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.21625 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.29141 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.21532 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.24508 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.29566 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.27232 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.29151 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.30471 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.25116 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.29279 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.30979 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.30896 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.27249 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.25655 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.28008 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.28066 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.20996 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.33386 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.29568 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.28053 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.29206 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.2994 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.31089 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.29386 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.31947 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.34549 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.28266 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.28476 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.2919 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.28491 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.31087 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "precision_at_10", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.10681 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.10451 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.10535 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.21222 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.18413 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.19617 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.23073 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.21073 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.19852 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.25826 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.24769 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.26697 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.23774 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.21402 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.13563 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.23499 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.20128 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.15688 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.24393 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.19434 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.19139 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.23089 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.13336 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.20429 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.13566 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.14754 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.17771 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.16942 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.18236 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.18588 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.155 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.18026 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.19586 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.1961 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.16934 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.1505 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.17225 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.17539 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.13668 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.22598 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.20062 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.18726 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.19525 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.19641 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.20232 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.20219 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.21858 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.23656 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.18304 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.18701 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.19644 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.19008 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.21157 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "precision_at_50", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.03742 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.03384 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.03711 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.06678 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.05387 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.06131 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.0756 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.07104 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.06687 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.08479 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.08437 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.08582 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.07316 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.06715 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.03432 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.07454 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.074 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.04392 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.07792 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.05992 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.05423 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.081 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.0342 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.06294 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.03564 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.03846 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.04232 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.04438 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.05153 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.04876 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.04041 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.04881 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.05544 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.0537 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.04723 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.03905 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.04692 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.04917 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.04097 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.06873 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.0603 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.05122 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.05709 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.05716 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.05637 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.06035 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.06622 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.06829 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.05155 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.05394 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.06091 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.05451 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.06307 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "precision_at_100", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.02209 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.01934 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.02171 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.03787 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.0294 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.03408 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.04294 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.04135 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.03802 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.04795 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.04834 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.04763 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.04038 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.03749 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.01824 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.04207 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.04444 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.02392 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.04361 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.03395 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.02888 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.04805 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.01795 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.0345 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.0196 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.02067 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.02211 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.02379 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.02858 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.02632 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.0218 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.02639 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.03014 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.02928 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.02572 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.021 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.02572 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.02686 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.02294 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.03846 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.0328 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.02753 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.03093 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.03095 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.02998 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.03314 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.03644 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.03679 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.02811 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.0296 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.03331 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.02959 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.03423 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "precision_at_1000", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.00296 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.00254 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.00295 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.00426 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.00336 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.00411 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.00488 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.00478 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.00437 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.00537 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.00546 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.00527 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.00453 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.00421 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.00194 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.00474 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.00531 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.00279 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.00514 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.0038 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.00313 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.00559 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.00199 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.00401 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.00229 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.00226 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.00232 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.00269 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.00318 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.00283 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.00242 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.00287 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.00331 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.00323 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.00285 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.00228 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.00281 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.00296 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.00287 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.00426 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.00361 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.00304 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.00353 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.00343 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.00323 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.00369 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.004 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.00399 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.0031 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.0033 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.00368 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.00318 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.00377 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "mrr_at_1", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.20086 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.26162 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.20116 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.53435 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.4404 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.40059 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.53152 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.48355 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.47964 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.55605 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.51876 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.53905 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.50943 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.51113 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.48749 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.5466 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.4902 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.49341 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.498 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.61199 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.45246 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.48994 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.48738 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.43075 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.39574 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.65239 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.69754 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.6994 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.68044 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.775 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.66739 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.73562 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.70557 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.72688 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.68087 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.64886 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.72802 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.64525 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.43899 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.63459 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.53809 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.53221 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.53155 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.55306 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.56922 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.53874 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.55088 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.5938 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.54698 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.55839 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.55447 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.55548 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.57517 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "mrr_at_3", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.25968 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.32096 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.26025 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.61858 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.51716 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.49632 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.60733 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.56712 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.57057 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.63164 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.60558 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.62946 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.59422 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.59261 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.5732 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.62722 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.57629 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.57003 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.58189 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.67485 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.54233 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.56369 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.54522 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.51674 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.46298 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.73081 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.75639 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.7567 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.73469 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.82635 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.7349 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.79473 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.76167 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.78456 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.74616 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.72139 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.7769 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.7185 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.51264 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.71635 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.62091 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.61274 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.61111 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.62942 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.65027 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.62683 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.64086 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.67836 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.62796 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.64501 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.63408 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.63198 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.65741 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "mrr_at_5", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.27561 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.33244 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.27534 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.63254 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.53442 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.51421 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.61969 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.58522 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.58655 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.64683 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.62207 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.64512 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.60975 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.60644 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.59075 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.6432 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.59025 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.58533 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.59872 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.68926 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.55958 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.58187 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.5535 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.53609 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.47123 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.74015 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.76555 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.76622 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.74362 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.83124 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.74621 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.80249 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.77059 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.7933 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.75608 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.73414 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.78641 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.72974 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.5265 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.72941 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.63491 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.62621 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.62317 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.64601 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.66345 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.64119 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.65435 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.69254 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.64572 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.66005 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.65059 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.64593 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.67233 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "mrr_at_10", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.28687 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.33976 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.28947 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.64111 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.54249 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.52556 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.63058 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.59681 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.59811 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.65802 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.63457 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.65473 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.6192 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.61752 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.6008 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.65247 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.60081 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.5932 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.60913 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.69909 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.56853 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.59238 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.55778 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.54555 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.47767 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.74636 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.77023 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.77215 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.74789 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.83505 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.75035 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.80733 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.77531 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.798 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.76177 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.73947 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.79109 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.73552 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.53561 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.73629 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.64474 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.63385 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.63121 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.65224 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.67119 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.64903 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.66404 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.6992 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.65343 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.66865 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.65866 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.65463 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.68055 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "mrr_at_50", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.29466 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.34695 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.29718 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.64578 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.54814 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.53126 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.63616 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.60252 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.60354 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.66235 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.63922 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.65871 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.62433 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.62254 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.60521 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.65742 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.60735 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.59826 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.61387 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.70251 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.5728 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.599 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.5614 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.55135 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.48295 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.74869 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.77179 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.77413 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.75092 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.83674 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.75244 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.80892 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.77778 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.79956 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.76354 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.74133 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.79368 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.73825 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.54088 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.73891 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.64876 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.63846 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.63521 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.6566 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.67516 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.65328 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.66824 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.70213 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.65713 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.67208 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.66307 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.65865 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.68412 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "mrr_at_100", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.29541 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.34756 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.29803 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.64617 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.5486 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.53183 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.6364 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.60293 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.60389 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.66262 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.63945 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.6589 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.62453 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.62281 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.6057 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.65769 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.60767 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.59868 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.61414 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.70275 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.57308 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.59938 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.56173 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.55171 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.48362 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.74882 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.77193 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.77428 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.75121 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.83685 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.75263 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.80902 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.77798 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.79971 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.76368 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.7415 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.79385 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.73841 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.54134 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.73906 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.64898 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.63873 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.63555 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.65681 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.67539 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.65356 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.66841 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.70234 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.65739 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.67238 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.66328 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.65888 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.68433 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "qa", + "metric": "mrr_at_1000", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "fr", + "dataset": "default", + "value": 0.29588 + }, + { + "domain": "law", + "lang": "en", + "dataset": "default", + "value": 0.34808 + }, + { + "domain": "law", + "lang": "de", + "dataset": "default", + "value": 0.29859 + }, + { + "domain": "news", + "lang": "fr", + "dataset": "default", + "value": 0.64629 + }, + { + "domain": "news", + "lang": "en", + "dataset": "default", + "value": 0.54891 + }, + { + "domain": "news", + "lang": "zh", + "dataset": "default", + "value": 0.53206 + }, + { + "domain": "news", + "lang": "ar", + "dataset": "default", + "value": 0.63652 + }, + { + "domain": "news", + "lang": "hi", + "dataset": "default", + "value": 0.60303 + }, + { + "domain": "news", + "lang": "es", + "dataset": "default", + "value": 0.60398 + }, + { + "domain": "news", + "lang": "id", + "dataset": "default", + "value": 0.6627 + }, + { + "domain": "news", + "lang": "fa", + "dataset": "default", + "value": 0.6395 + }, + { + "domain": "news", + "lang": "ko", + "dataset": "default", + "value": 0.65897 + }, + { + "domain": "news", + "lang": "ja", + "dataset": "default", + "value": 0.62464 + }, + { + "domain": "news", + "lang": "de", + "dataset": "default", + "value": 0.62291 + }, + { + "domain": "news", + "lang": "bn", + "dataset": "default", + "value": 0.60586 + }, + { + "domain": "news", + "lang": "ru", + "dataset": "default", + "value": 0.65774 + }, + { + "domain": "healthcare", + "lang": "fr", + "dataset": "default", + "value": 0.60775 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "default", + "value": 0.59891 + }, + { + "domain": "healthcare", + "lang": "zh", + "dataset": "default", + "value": 0.61431 + }, + { + "domain": "healthcare", + "lang": "es", + "dataset": "default", + "value": 0.70285 + }, + { + "domain": "healthcare", + "lang": "de", + "dataset": "default", + "value": 0.57332 + }, + { + "domain": "finance", + "lang": "fr", + "dataset": "default", + "value": 0.59944 + }, + { + "domain": "finance", + "lang": "en", + "dataset": "default", + "value": 0.56205 + }, + { + "domain": "finance", + "lang": "zh", + "dataset": "default", + "value": 0.55193 + }, + { + "domain": "finance", + "lang": "ar", + "dataset": "default", + "value": 0.48419 + }, + { + "domain": "wiki", + "lang": "fr", + "dataset": "default", + "value": 0.74888 + }, + { + "domain": "wiki", + "lang": "en", + "dataset": "default", + "value": 0.77203 + }, + { + "domain": "wiki", + "lang": "zh", + "dataset": "default", + "value": 0.77435 + }, + { + "domain": "wiki", + "lang": "ar", + "dataset": "default", + "value": 0.75132 + }, + { + "domain": "wiki", + "lang": "hi", + "dataset": "default", + "value": 0.83689 + }, + { + "domain": "wiki", + "lang": "es", + "dataset": "default", + "value": 0.75271 + }, + { + "domain": "wiki", + "lang": "id", + "dataset": "default", + "value": 0.80906 + }, + { + "domain": "wiki", + "lang": "fa", + "dataset": "default", + "value": 0.77807 + }, + { + "domain": "wiki", + "lang": "ko", + "dataset": "default", + "value": 0.7998 + }, + { + "domain": "wiki", + "lang": "ja", + "dataset": "default", + "value": 0.76377 + }, + { + "domain": "wiki", + "lang": "de", + "dataset": "default", + "value": 0.74158 + }, + { + "domain": "wiki", + "lang": "bn", + "dataset": "default", + "value": 0.79392 + }, + { + "domain": "wiki", + "lang": "ru", + "dataset": "default", + "value": 0.73849 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "default", + "value": 0.54167 + }, + { + "domain": "science", + "lang": "ru", + "dataset": "default", + "value": 0.73912 + }, + { + "domain": "web", + "lang": "fr", + "dataset": "default", + "value": 0.64912 + }, + { + "domain": "web", + "lang": "en", + "dataset": "default", + "value": 0.6389 + }, + { + "domain": "web", + "lang": "zh", + "dataset": "default", + "value": 0.63571 + }, + { + "domain": "web", + "lang": "ar", + "dataset": "default", + "value": 0.65697 + }, + { + "domain": "web", + "lang": "hi", + "dataset": "default", + "value": 0.67553 + }, + { + "domain": "web", + "lang": "es", + "dataset": "default", + "value": 0.65368 + }, + { + "domain": "web", + "lang": "id", + "dataset": "default", + "value": 0.66847 + }, + { + "domain": "web", + "lang": "fa", + "dataset": "default", + "value": 0.70245 + }, + { + "domain": "web", + "lang": "ko", + "dataset": "default", + "value": 0.65748 + }, + { + "domain": "web", + "lang": "ja", + "dataset": "default", + "value": 0.67247 + }, + { + "domain": "web", + "lang": "de", + "dataset": "default", + "value": 0.6634 + }, + { + "domain": "web", + "lang": "bn", + "dataset": "default", + "value": 0.65902 + }, + { + "domain": "web", + "lang": "ru", + "dataset": "default", + "value": 0.6844 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "ndcg_at_1", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.63363 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.64497 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.62717 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.59437 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.7038 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.54464 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.59946 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.53825 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.44578 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.40356 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.47339 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "ndcg_at_3", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.56443 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.55962 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.5328 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.52332 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.63449 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.48778 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.5409 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.47304 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.58983 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.48582 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.44348 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "ndcg_at_5", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.54922 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.54356 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.53461 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.54014 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.62543 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.48659 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.54972 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.48401 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.6149 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.51546 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.46858 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "ndcg_at_10", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.59214 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.57029 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.58092 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.5885 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.66719 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.51834 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.59108 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.53137 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.63883 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.55608 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.51485 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "ndcg_at_50", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.67848 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.6572 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.66302 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.65669 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.74693 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.59693 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.64846 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.61595 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.66395 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.60749 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.57894 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "ndcg_at_100", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.69014 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.67115 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.67587 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.66945 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.75881 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.60907 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.6629 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.62929 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.66914 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.6156 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.59363 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "ndcg_at_1000", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.70416 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.68982 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.68896 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.67891 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.7642 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.63168 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.67993 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.64499 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.67358 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.6204 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.6097 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "map_at_1", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.18839 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.18982 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.20713 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.28245 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.24857 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.2319 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.31481 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.23724 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.44578 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.32715 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.22335 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "map_at_3", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.33603 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.33359 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.34554 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.40609 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.42465 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.359 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.43465 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.34985 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.55489 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.44106 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.345 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "map_at_5", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.40258 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.39345 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.40382 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.44833 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.49026 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.39724 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.46524 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.39131 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.56894 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.46207 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.38643 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "map_at_10", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.47267 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.45039 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.46013 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.48351 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.55304 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.4288 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.49554 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.43159 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.57913 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.4814 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.42128 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "map_at_50", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.52013 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.49539 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.501 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.51091 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.59749 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.46259 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.51594 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.4677 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.58466 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.49554 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.44485 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "map_at_100", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.52254 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.4983 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.50366 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.5131 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.60006 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.46465 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.51853 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.47001 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.58511 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.4966 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.44716 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "map_at_1000", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.52372 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.50013 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.50481 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.51389 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.60062 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.4663 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.51999 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.4713 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.58533 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.49693 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.4482 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "recall_at_1", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.18839 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.18982 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.20713 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.28245 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.24857 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.2319 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.31481 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.23724 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.44578 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.32715 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.22335 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "recall_at_3", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.37629 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.37536 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.38407 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.45666 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.46935 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.40395 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.4905 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.38632 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.69076 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.54797 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.39966 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "recall_at_5", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.48228 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.47603 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.49961 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.54794 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.57378 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.47593 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.5584 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.47395 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.751 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.61029 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.49481 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "recall_at_10", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.6359 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.606 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.64119 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.67308 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.70978 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.56454 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.65637 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.59413 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.82329 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.71934 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.61246 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "recall_at_50", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.86737 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.8432 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.87396 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.88929 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.92413 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.80033 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.84016 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.85108 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.93574 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.92507 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.82564 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "recall_at_100", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.91717 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.89949 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.92717 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.94563 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.97235 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.85298 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.90235 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.90892 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.96787 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.9686 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.89631 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "recall_at_1000", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.997 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.99852 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.99663 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 1.0 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 1.0 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.99157 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 1.0 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.99966 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 1.0 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 1.0 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 1.0 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "precision_at_1", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.63363 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.64497 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.62717 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.59437 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.7038 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.54464 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.59946 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.53825 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.44578 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.40356 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.47339 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "precision_at_3", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.48949 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.46943 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.43834 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.36808 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.5154 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.36508 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.35484 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.34517 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.23025 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.23937 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.31933 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "precision_at_5", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.3982 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.37515 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.35318 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.27775 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.41467 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.2756 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.26129 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.27104 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.1502 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.16736 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.24706 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "precision_at_10", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.27658 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.25385 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.23815 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.17521 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.275 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.17292 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.16237 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.1806 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.08233 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.10237 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.1605 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "precision_at_50", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.07724 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.07343 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.06728 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.04885 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.07484 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.0519 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.04452 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.05393 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.01871 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.02706 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.04398 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "precision_at_100", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.04036 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.03911 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.03564 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.02614 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.03927 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.02765 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.02433 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.0288 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.00968 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.01424 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.02373 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "precision_at_1000", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.00428 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.00426 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.00382 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.00276 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.00404 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.0031 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.00271 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.00313 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.001 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.00147 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.00259 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "mrr_at_1", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.63363 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.64497 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.62717 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.59437 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.7038 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.54464 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.59946 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.53825 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.44578 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.40356 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.47339 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "mrr_at_3", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.71271 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.71647 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.69509 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.66808 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.77717 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.60764 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.67159 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.6102 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.55489 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.50593 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.54575 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "mrr_at_5", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.72307 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.72623 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.71561 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.68131 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.79035 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.62044 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.68665 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.62413 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.56894 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.52047 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.5613 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "mrr_at_10", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.73023 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.73209 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.71962 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.69099 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.79406 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.62625 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.69422 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.63419 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.57913 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.53471 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.57337 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "mrr_at_50", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.73311 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.73562 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.72366 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.6961 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.79649 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.63201 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.69831 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.64133 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.58466 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.54204 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.58043 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "mrr_at_100", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.7334 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.73587 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.72384 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.69634 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.79658 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.63241 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.6985 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.6416 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.58511 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.54239 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.58085 + } + ] + }, + { + "config": { + "retrieval_model": "bge-m3", + "retrieval_model_link": "https://huggingface.co/BAAI/bge-m3", + "reranking_model": "NoReranker", + "reranking_model_link": null, + "task": "long-doc", + "metric": "mrr_at_1000", + "timestamp": "2024-10-03T03:14:48Z", + "is_anonymous": false, + "revision": "6d9654ae264fd1b8a7c7cc8ce2c114d6" + }, + "results": [ + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_400K-500K", + "value": 0.73355 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_600K-700K", + "value": 0.73604 + }, + { + "domain": "law", + "lang": "en", + "dataset": "lex_files_500K-600K", + "value": 0.72394 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_2", + "value": 0.69639 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_30K-40K_10-merged", + "value": 0.79661 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_40K-50K_5-merged", + "value": 0.63277 + }, + { + "domain": "healthcare", + "lang": "en", + "dataset": "pubmed_100K-200K_1", + "value": 0.69861 + }, + { + "domain": "book", + "lang": "en", + "dataset": "origin-of-species_darwin", + "value": 0.64173 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gemini", + "value": 0.58533 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "gpt3", + "value": 0.54249 + }, + { + "domain": "arxiv", + "lang": "en", + "dataset": "llm-survey", + "value": 0.5811 + } + ] + } +] \ No newline at end of file