fine tuning 에 관해서
#6
by
lee1111
- opened
혹시 모델을 fine tuning 하기 위한 데모 코드는 공개가 안 될 예정일까요? 만약 그렇다면, lmms-lab/llama3-llava-next-8b 해당 모델의 fine tuning 방법을 그대로 따라서 진행 하면 되는건지 궁금합니다
제 목적의 fine tuning은 이미지 캡셔닝 입니다
안녕하세요 서울과학기술대학교 MLP Lab
신동재 연구원입니다.
먼저 답변이 늦은 점에 대해 양해의 말씀을 구합니다.
현재 파인튜닝을 위한 데모 코드의 경우 Preview 모델에 대해서는 공개 계획이 없습니다.
lmms-lab/llama3-llava-next-8b 모델의 경우는 별도의 라이브러리를 제작하여 사용하는 것으로 알고 있습니다.
코드를 구체적으로 살펴보지는 않았지만 만약 LLaVA1.5 paper에서 언급한 방식과 동일하다면 사용하셔도 괜찮을 것 같습니다.
추가적으로 현재 bllossom-vision 모델 advanced 버전을 개발 중이고, 빠른 시일안에 공개를 목표로 하고 있다는 점 참고 해주시면 감사하겠습니다.