then validated by evaluating whether the execution of the API calls is helpful for predicting the future tokens. This unsupervised method significantly boosts model performance in a variety of tasks when compared against non augmented LLMs, but it also makes the model over use tools. As an example, for the QA task the model uses the search engine 99.3% of the cases. On our work, we try to take advantage of the parametric knowledge of LLMs and just perform retrieval when needed. Adapt-LLM decreases the usage of IR down to 83.99% while improving performance over vanilla retrieval.
API 호출의 실행이 미래 토큰 예측에 도움이 되는지 평가하여 검증합니다. 이 비지도 방법은 비증강 Large Language Models (LLMs)과 비교했을 때 다양한 작업에서 모델 성능을 크게 향상시키지만, 모델이 도구를 과도하게 사용하게 만드는 단점도 있습니다. 예를 들어, QA 작업의 경우 모델이 검색 엔진을 99.3%의 경우에 사용합니다. 저희 연구에서는 LLM의 파라메트릭 지식을 활용하여 필요할 때만 retrieval을 수행하려고 합니다. Adapt-LLM은 일반 retrieval보다 성능을 개선하면서 IR 사용률을 83.99%까지 낮췄습니다.
API 호출의 실행이 미래 토큰 예측에 도움이 되는지 평가하여 검증합니다. 이 비지도 방법은 비증강 LLM과 비교했을 때 다양한 작업에서 모델 성능을 크게 향상시키지만, 모델이 도구를 과도하게 사용하게 만드는 단점도 있습니다. 예를 들어, QA 작업의 경우 모델이 검색 엔진을 99.3%의 경우에 사용합니다. 저희 연구에서는 LLM의 파라메트릭 지식을 활용하여 필요할 때만 검색을 수행하려고 합니다. Adapt-LLM은 일반 검색보다 성능을 개선하면서 IR 사용률을 83.99%까지 낮췄습니다.