One notable result here is that OLMo-7B is much farther ahead of the other models on Dolma 100 Programming Languages (100 PLs). Note that this effect may be due in part to underestimation from contamination, as decontaminating code data is beyond the scope of the method in Paloma. At the same time other models that are trained on code data from GitHub such as RPJ-INCITE-7B, that are just as likely to have contamination, fair much worse. Another factor then is that OLMo-7B trains on code data with exactly the same post-processing as that in 100 PLs while the code data in other models will have been processed differently. Similarly, Pile evaluation demonstrates these in-distribution and potential contamination effects as Pythia-6.9B achieves top performance despite being trained on almost an order of magnitude fewer tokens than OLMo-7B.
여기서 주목할 만한 결과는 OLMo-7B가 Dolma 100 Programming Languages (100 PLs)에서 다른 모델보다 훨씬 앞서 있다는 것입니다. 이 효과는 부분적으로 오염으로 인한 과소평가 때문일 수도 있습니다. 코드 데이터를 정화하는 것은 Paloma에서 방법의 범위를 벗어나기 때문입니다. 동시에 RPJ-INCITE-7B와 같이 GitHub의 코드 데이터로 학습된 다른 모델들은 오염 가능성이 똑같이 높지만 훨씬 더 나쁜 성능을 보입니다. 또 다른 요인은 OLMo-7B가 100 PLs의 코드 데이터와 정확히 동일한 후처리를 통해 코드 데이터를 학습하는 반면, 다른 모델의 코드 데이터는 다르게 처리되었을 가능성이 높다는 것입니다. 마찬가지로, Pile evaluation이 이러한 in-distribution 및 잠재적 오염 효과를 보여주며, Pythia-6.9B가 OLMo-7B보다 훨씬 적은 토큰으로 학습했음에도 불구하고 최고의 성능을 달성하는 것을 볼 수 있습니다.
여기서 주목할 만한 결과는 OLMo-7B가 Dolma 100 프로그래밍 언어(100 PL)에서 다른 모델보다 훨씬 앞서 있다는 것입니다. 이 효과는 부분적으로 오염으로 인한 과소평가 때문일 수도 있습니다. 코드 데이터를 정화하는 것은 팔로마에서 방법의 범위를 벗어나기 때문입니다. 동시에 RPJ-INCITE-7B와 같이 GitHub의 코드 데이터로 학습된 다른 모델들은 오염 가능성이 똑같이 높지만 훨씬 더 나쁜 성능을 보입니다. 또 다른 요인은 OLMo-7B가 100 PL의 코드 데이터와 정확히 동일한 후처리를 통해 코드 데이터를 학습하는 반면, 다른 모델의 코드 데이터는 다르게 처리되었을 가능성이 높다는 것입니다. 마찬가지로, 파이어 6.9B가 OLMo-7B보다 훨씬 적은 토큰으로 학습했음에도 불구하고 최고의 성능을 달성하는 것을 볼 수 있습니다.