Korean Language Model ) [ M L ] kor _ pratrain _ LM ( Pre - Trained

* NLP의 발전을 위해 한글 Corpus에서 Pre-train한 Language Model을 공개합니다.♥

Pre - Train Model Download - Small Download ( 18M Params ) - Large - V1 Download ( 330M Params ) - Large - V2 Download

Large Model의 경우 Fine-Tuning Step에서도 많은 Computational resource가 필요하기 때문에 고사양의 Machine이 없으면 Fine-Tuning이 어렵습니다. Benchmark를 진행한 3개의 Task(KorQuAD1.0, KorNLI, KorSTS)에 대한 Fine-Tuning Model도 공개합니다.출처: 본 연구는 과학기술정보통신부 및 정보통신산업진흥원의 '고성능 컴퓨팅 지원' 사업으로부터 지원을 받아 수행된 https:/ailabs.enliple.com. Contribute to enlipleai/kor_pratrain_LMdevelopment by creatinganaccountonGitHub.github.com