과학기술정보통신부의 재원으로 정보통신기획평가원의 지원을 받아 수행된 전문지식 대상 판단결과의 이유/근거를 설명가능한 전문가 의사결정 지원 인공지능 기술개발 과제에서 개발된 한국어 생성 언어모델을 공개합니다. ETRI에서 배포하는 언어모델은 총 2종이며, 한국어 모델(polyglot-ko-12.8b)을 기반으로 약 26만개의 instruction following 데이터로 fine-tuning된 모델과 영어 모델(llmama2-13b)을 기반으로 약 63만개의 instruction following 데이터로 fine-tuning된 모델입니다. 영어 모델 기반으로 fine-tuning된 생성 언어모델은 NIA와 Upstate가 주최하는 Open-ko-llm 리더보드에서 추론과 상식분야에서 1위를 하였습니다 (2023. 10. 10기준).
과학기술정보통신부의 재원으로 정보통신기획평가원의 지원을 받아 수행된 전문지식 대상 판단결과의 이유/근거를 설명가능한 전문가 의사결정 지원 인공지능 기술개발 과제에서 개발된 한국어 생성 언어모델을 공개합니다. ETRI에서 배포하는 언어모델은 총 2종이며, 한국어 모델(polyglot-ko-12.8b)을 기반으로 약 26만개의 instruction following 데이터로 fine-tuning된 모델과 영어 모델(llmama2-13b)을 기반으로 약 63만개의 instruction following 데이터로 fine-tuning된 모델입니다. 영어 모델 기반으로 fine-tuning된 생성 언어모델은 NIA와 Upstate가 주최하는 Open-ko-llm 리더보드에서 추론과 상식분야에서 1위를 하였습니다 (2023. 10. 10기준).
과학기술정보통신부의 재원으로 정보통신기획평가원의 지원을 받아 수행된 전문지식 대상 판단결과의 이유/근거를 설명가능한 전문가 의사결정 지원 인공지능 기술개발 과제에서 개발된 한국어 생성 언어모델을 공개합니다. ETRI에서 배포하는 언어모델은 총 2종이며, 한국어 모델(polyglot-ko-12.8b)을 기반으로 약 26만개의 instruction following 데이터로 fine-tuning된 모델과 영어 모델(llmama2-13b)을 기반으로 약 63만개의 instruction following 데이터로 fine-tuning된 모델입니다. 영어 모델 기반으로 fine-tuning된 생성 언어모델은 NIA와 Upstate가 주최하는 Open-ko-llm 리더보드에서 추론과 상식분야에서 1위를 하였습니다 (2023. 10. 10기준).