관리번호

(지정공모형)

과제명

효율적 사전학습이 가능한 한국어 대형 언어모델 사전학습 기술 개발

1. 개념

ㅇ 한국어 중심의 대형 언어모델을 외부 메모리를 이용하여 효율적으로 사전학습하고, 국내 산업/연구계에 보급하여 국내 한국어 인공지능의 경쟁력 강화 및 생태계 활성화 추진

- GPT-3 등 기존 언어모델 기술은 대용량 텍스트에 포함된 언어능력과 지식을 모두 딥러닝 모델에 학습하기 때문에 초대형 규모가 필요하였으며 이로 인하여 산업화가 어렵다는 한계가 존재

- 언어모델 학습 시 장기(외부) 메모리를 이용하여 효율적 사전학습이 가능한 언어모델 학습 기술을 개발하고 이를 기반으로 구축된 한국어 대형 언어모델을 공개

※ 공개 언어모델은 수요자(기업)마다 자신의 데이터 기반 장기(외부) 메모리를 적용하여 수요자별 특화된 응답 생성을 가능하게 하고, 이를 통해 폭넓은 실세계 활용을 목표로 함. (기존 언어모델 구조는 수요자(기업)마다 특화된 응답 생성 불가)

< 개념도 >

2. 필요성

ㅇ (정부 지원 필요성) 글로벌 기업의 대용량 컴퓨팅 파워와 데이터 대형화 기술 개발 전략에 맞서 한국어 인공지능 언어모델의 기술 우위 유지를 위한 정부 지원 필요

- 거대 사전학습 모델의 효용성을 고려할 때 연구개발 및 인프라 투자가 필요하나 GPT-3 규모의 Billion 단위 언어모델 개발은 소수 대기업을 제외하면 연구개발 투자 자체가 불가능

ㅇ (기술성) 최근 글로벌 인공지능 기술 경쟁이 언어지능 분야로 집중되는 가운데, 글로벌 기업들의 모델/컴퓨팅/데이터의 대형화를 통한 다국어 처리 기술 개발에 맞서 한국어처리 기술의 우위를 유지하기 위하여 효율적 언어모델 학습 기술 개발 도전 필요

- 대형 언어모델은 현재 언어 인공지능 분야에서 가장 유망한 접근방법 중 하나로 평가되고 있으나, 학습에 큰 비용이 소요되는 한계로 한국어에 대한 대형 언어모델 연구는 일부 대기업의 전유물인 상황

※ 한국어 대형 언어모델을 효율적으로 학습하는 기술을 확보하고 이를 산업계에 보급하여 한국어 인공지능의 연구 경쟁력, 시장 경쟁력 향상이 시급히 필요

ㅇ (경제성) 자연어 이해 및 생성을 위해 핵심적인 기반 기술로 사용되고 있는 대형 한국어 모델 개발로 언어지능 분야 산업의 SOC 확보를 통한 산업 잠재력 향상

- 다양한 한국어 기반 인공지능 서비스를 필요로 하는 금융, 공학, 통계, 생산 유통 등 산업에 기본 모델로 활용이 가능

- 언어처리 분야 인공지능 전문기업 육성과 전문인력 양성

※ 국내기업의 인공지능 산업 실태조사 조사결과, 기술 분야별 매출액 비중을 조사한 결과 ‘지능정보 지식 서비스’가 91%로 가장 높으므로, 개발 결과물을 통해 인공지능 기업에서 ‘지능정보 지식 서비스’를 통한 매출액 증대에 기여

※ 언어지능 분야에서 최고의 석·박사 전문인력 양성 및 R&D를 통한 산업체 인력 재교육을 통한 국가 경쟁력 제고

3. 수요분석

ㅇ (주요 수요처) 사전학습된 고성능 대형 언어모델을 활용하여 한국어처리 기술이 필요한 언어처리 분야 인공지능 전문기업, 인공지능을 연구하는 연구소 및 대학에서 필요

ㅇ (수요자의 핵심 문제) 다양한 언어지능 분야에서 고품질의 서비스를 개발하기 위해서는 고성능 대형 한국어 언어모델이 필수이지만 막대한 구축 비용 문제로 이러한 역량을 갖추기가 쉽지 않기 때문에, 고성능 대형 언어모델을 구축하여 공개·배포하거나 API 형태로 제공하여 외산 솔루션 및 대기업과 경쟁할 수 있는 능력을 확보할 수 있도록 추진

- 언어 이해와 생성 모두 가능한 모델을 통하여 다양한 언어처리 산업 분야에 적용할 수 있어 타겟 서비스별로 개별 기술을 개발하는 비용을 절감할 수 있으면 이를 활용한 언어지능 관련 기술 축적

4. 연구목표

ㅇ 최종목표 : 다양한 산업 분야의 한국어 이해 및 생성 태스크에 최첨단 언어 지능 기술을 적용하기 쉽게 장기(외부) 메모리를 이용*하여 효율적 학습이 가능한 한국어 언어모델 사전학습 기술 개발 및 한국어에 기반하여 이미지 및 비디오를 생성하거나 변환이 가능한 크로스모달** 학습 모델 제공

* 민간에서 개발 중인 트랜스포머 인코더, 디코더 모델 구조 외에 장기(외부) 메모리를 학습, 활용하는 모델 구조를 개발하여, 초거대 언어모델이 해결하지 못한 지식 오류 및 제어 가능성 문제 해결이 가능

** 한글 텍스트에서 이미지 및 비디오를 생성하거나, 생성된 이미지 및 비디오로부터 텍스트 요약, 일부 정보의 치환이 가능

- 한국어 기반 언어 이해 모델과 언어생성 모델 각각의 특장점을 살릴 수 있는 언어 이해 및 생성 모델 기술 개발

- 한국어 언어모델을 국내에 공개하여 한국어 인공지능 생태계 활성화 기여

ㅇ 정량적 개발목표

핵심 기술/제품 성능지표		단위	달성목표	국내최고수준	세계최고수준 (보유국, 기업/기관명)
1	외부 메모리 포함 언어 이해 응용 태스크 성능1)	F1	85.0	79.79*	89.3** (미국, google)
2	외부 메모리 포함 언어생성 응용 태스크 성능2)	ROUGE-1	50.0	-	44.38* (미국, Facebook)
3	외부 메모리 활용 가능한 한국어 언어모델 공개3)	종	3종	-*	1종** (미국, Facebook)
4	한국어 크로스모달 모델 공개 건수4)	종	3종	-*	3종** (미국, Google)
5	사전학습모델 기반 다운-스트림 태스크 건수5)	종	3종 이상*	1종** (카카오 브레인)	1종 (NVIDIA***,Google****)
6	생성 이미지의 크로스모달 변환 재현율6)	%	60/85/90 (이미지→텍스트), 50/72/80 (텍스트→이미지)	-	58.6/83.0/89.7 (이미지→텍스트), 45.6/69.8/78.6 (텍스트→이미지) (Open AI*, Google**)
7	생성 비디오의 현실감 사용자 평가 지수7)	%	40 (텍스트→비디오)	-	-

1) 언어 이해 태스크 평가셋인 영어의 GLUE(General Language Understanding Evaluation), Super GLUE 벤치마크와 유사하게 한국어 이해 태스크 중 자동 분류(classification), 의미적 유사성(Semantic Textual similarity), 자연어추론(Natural Language Inference), 기계독해(Machine Reading Comprehension), 한국어 이해(형태소 분석, 개체명 인식 등) 태스크 등에 대한 평균 성능

* 한국어 이해 태스크 평가셋 KLUE(Korean Language Understanding Evaluation) 태스크에 대한 평균 성능 (https://klue-benchmark.com/leaderboard)

** 영어 이해 태스크 평가셋 Super GLUE score (https://super.gluebenchmark.com/leaderboard)로 11B 모델 사용한 성능

2) GLUE와 유사한 언어 생성 태스크 평가 벤치마크를 현재 존재하지 않고,  한국어 또한 존재하지 않지만 대표적인 생성 태스크인 요약 태스크를 대상으로 평가

* Armen Aghajanyan, Akshat Shrivastava, Anchit Gupta, Naman Goyal, Luke Zettlemoyer, and SonalGupta. Better fine-tuning by reducing representational collapse. arXiv preprint arXiv:2008.03156,2020.

3) 외부 메모리 활용이 가능한 한국어 이해 및 생성 모델을 최적화한 모델 공개로 step이나 말뭉치를 바꾸는 수준이 아닌 1, 2번 지표에서 최고를 기록한 모델 공개. 매개변수 개수를 기준으로 small(약 60M), base(약 220M), Large(770M) 준하는 규모로 하며 추후 컴퓨팅 환경 변화 및 외부 메모리 활용 정도에 따라 협의하여 파라미터의 규모 및 크기 조정 가능

* 국내에 언어모델(BERT, GPT, T5등)의 한국어 버전이 공개되었으나, 기구축된 언어모델을 재구축하는 과정을 거치지 않고 외부 지식을 활용하여 언어모델이 확장성을 갖도록 하는 외부 지식 활용이 가능한 한국어 언어 모델은 공개된 적이 없음

** facebook에서 공개한 RAG(Retrieval-Augmented Generation for Knowledge_intensive NLP Tasks, https://arxiv.org/abs/2005.11401) 620M 크기의 단일 모델 공개

4) 한국어 기반 이미지, 비디오 생성 및 변환 모델에 최적화한 트랜스포머 모델 공개가 목표이며, 매개 변수 개수를 기준으로 Small(60M), Base(220M), Large(770M)에 준하는 규모로 제시하여야 함. 단, 추후 연구수행 중에도 컴퓨팅 환경 변화 및 복합 모달리티(언어, 시각 정보 임베딩 방법 등)에 따라 파라미터의 규모 및 크기는 변동 가능

* 국내에서는 크로스모달 모델을 지향하는 공개 모델은 없으며, 유사사례로는 ETRI에서 공개한 한국어 BERT 언어모델(KorBERT), 한국어 이해생성 언어모델(ET5)사례 등 2종이 존재

※ (참고) 공공인공지능 오픈 API·DATA 포털을 통해 KorBERT는 누적 배포건수 1,250건, ET5는 100건(https://aiopen.etri.re.kr/service_dataset.php)

** 구글에서 공개한 SimVLM(Simple Visual Language Model, https://arxiv.org/abs/2108.10904) 3종(base: 86M, large:307M, huge:632M)

5) 공개된 사전학습 모델을 활용하기 위한 다운스트림 태스크(따로 추가학습을 하지 않더라도 바로 활용 가능한 수준)의 건수

* 제안하는 방식은 텍스트로부터 이미지/스케치 또는 이미지에서 비디오 생성, 이미지에서 요약문 생성, 비디오에서 문장생성, 텍스트에서 비디오 검색 등과 같은 다양한 모달리티간의 상호 변환이 가능한 태스크의 건수

** 카카오브레인에서 공개한 MinDALL-E(https://github.com/kakaobrain/minDALL-E)는 텍스트에서 이미지로의 변환만 가능

*** NVIDIA에서 공개한 PoE-GAN(https://arxiv.org/abs/2112.05130)은 텍스트에서 이미지를 생성하며, 단순한 텍스트 입력 외에도 텍스트, 스케치(Sketch), 세그멘테이션(Segmentation)의 멀티모달 입력을 통해 성능향상을 보임

※ (참고) Multimodal Conditional Image Synthesis with Product-of-Experts GANs <PoE-GAN>(NVIDIA, 2021)

**** OpenAI가 공개한 GLIDE(https://arxiv.org/abs/2112.10741)의 경우 텍스트에서 이미지를 생성하며, 특정 영역을 지정하여 부분적인 이미지 인페인팅(Image Inpainting) 기능을 부가적으로 제공 중

※ (참고) GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models(OpenAI, 2021)

6) 제안하는 방식의 image->text, text->image 상호 변환 재현율(Recall(관련 있는 것으로 분류된 항목들 중 실제 일치된 항목들의 비율), R@1, R@5, R@10 의 성능목표 제시(MS COCO 데이터셋 기준))

* OpenAI의 CLIP(https://arxiv.org/abs/2103.00020)은 텍스트 및 이미지 쌍을 입력으로 상호간의 관계를 대조학습으로 구축

※ (참고) Learning Transferable Visual Models From Natural Language Supervision <CLIP>(Open AI, 2021)

** Google의 ALIGN(https://arxiv.org/abs/2102.05918)은 노이즈한 텍스트/이미지 쌍에서도 비교적 텍스트로부터 이미지 검색, 이미지로부터 텍스트 검색 등과 같은 태스크에서 우수한 성능을 보임

※ (참고) Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision <ALIGN> (Google,2021)

7) 다수 투표(Majority Vote) 결과 사실성(Photorealism) / 텍스트와의 유사도(Caption Similarity)가 높다고 평가된 건수의 비율(MS COCO에서의 DF-GAN*, DALL-E** 비교 포함)이며, N명 이상의 모수 기준으로 평가함(모든 평가에는 DALL-E의 평가방법처럼 “Not sure<확실하게 좋고 나쁨을 모름>” 포함). 텍스트에서 이미지를 생성하는 OpenAI의 DALL-E / DALL-E 2***에서도 Human Evaluation을 통해 이미지 중에 더 사실적인 이미지를 선택하여 수치화하거나, 캡션과 더 일치하는 이미지를 선택하는 방식으로 대략 45.3%에서 48.9%의 성능을 나타내고 있음

* Nanjing Univ의 DF-GAN은 적대적 생성 신경망(GAN)을 기반으로 Deep Fusion Block을 제안하여, 텍스트에서 이미지를 생성하는 성능 향상을 보임

※ DF-GAN: Deep Fusion Generative Adversarial Networks for Text-to-Image Synthesis(Nanjing Univ,2020)

** OpenAI의 DALL-E는 2.5억장의 텍스트, 이미지 쌍으로 VQ-VAE(Vector Quantized VAE)을 통해 학습을 수행하였으며, 제로샷으로 텍스트에서 이미지 생성이 가능

※ Zero-Shot Text-to-Image Generation<DALL-E>(OpenAI, 2021)

*** OpenAI의 DALL-E 2(https://openai.com/dall-e-2/)는 기존 연구(DALL-E)의 이미지 해상도를 개선(4x)하고, 디퓨전 모델 기반으로 텍스트에서 이미지를 생성하는 성능을 개선하였으며, 이미지 영역의 일부 편집(이미지 인페인팅)이 가능

※ Hierarchical Text-Conditional Image Generation with CLIP Latents<DALL-E 2> (Open AI,2022)

ㅇ 연차별 개발목표

구분	연도별 연구목표
2022년	• 외부 메모리를 포함한 언어 모델 구조 설계 • 한국어에 최적화된 언어 단위 표현 기술 개발 • 텍스트, 이미지, 비디오 사이의 크로스모달 생성이 가능한 신경망 연구
2023년	• 사전 학습을 위한 트랜스포머 효율성 향상 기술 • 외부 메모리 활용이 가능한 언어 이해 및 생성 모델 사전 학습 기술 개발 • <이미지-텍스트>쌍 기반 크로스모달 신경망 연결구조 및 생성/변환 기술개발
2024년	• 외부 메모리 활용이 가능한 언어 이해 및 생성 모델 사전 학습 기술 고도화 • <텍스트-이미지-비디오>기반 크로스모달 사전학습 생성 기술개발
2025년	• 외부 메모리 활용이 가능한 한국어 언어모델 구축 및 배포 • 한글로부터 이미지를 변환 및 제어하고, 비디오 생성이 가능한 크로스모달 생성기술개발

5. 연구내용

ㅇ 개발 기술 내용

개발내용
• (연구목표 #1) 대형 언어모델 학습 컴퓨팅 인프라와 크로스모달 데이터셋 구축 및 공개
	한국어 기반의 언어 및 시각 연구용 데이터셋 구축 및 공개
	공공 인공지능 오픈 API·DATA 서비스 포털 등을 통해 공개된 모델에 대한 지속적인 관리
• (연구목표 #2) 내용어와 기능어가 결합하는 한국어 특성에 맞는 언어 단위 표현 기술
	다양한 조사/어미 변화에 강건한 한국어 입력 언어 단위 표현 기술
	자연스러운 축약형 조사/어미 생성이 가능한 출력 언어 단위 표현 기술
	여러 분야의 신조어에 강건한 언어 단위 표현 기술
• (연구목표 #3) 외부 메모리를 포함한 언어모델 구조 모델링 기술
	입력 텍스트와 관련된 외부 메모리 검색 및 외부 메모리 정보 기반 언어모델 출력 생성 기술
	사전학습 & 트랜스포머 인코더-디코더 구조의 효율성 향상 기술
	한국어의 심층 이해가 가능한 언어이해 모델 기술
	주어진 의미 표현에 적합하고 유창한 한국어 생성 기술
• (연구목표 #4) <텍스트-이미지>쌍 기반 크로스모달 생성 및 제어 기술개발
	자동으로 한국어 캡션(설명)을 생성하는 이미지 캡셔닝 기술 개발
	<텍스트-이미지>쌍의 유사도 기반 크로스모달 알고리즘 개발
	언어의 의미, 이미지의 픽셀구조, 비디오 체계에 기반한 관계 신경망 개발
	연관 언어의미 정보 / 이미지의 시각(Visual) 정보기반 제어 기술
• (연구목표 #5) <텍스트-이미지-비디오>쌍 기반 크로스모달 생성 기술개발
	이미지 및 비디오의 주요 부분 상호 요약이 가능한 언어-영상 추론 기술
	언어의 의미와 이미지/영상의 의미 구조 연결을 통한 주어-술어-객체 표현 기술
	사용자 입력에 기반한 스토리텔링(사물 / 행동 이해)이 가능한 숏폼 비디오 생성 기술

ㅇ 기존 (보유)기술

- 휴먼 지식증강 서비스를 위한 지능진화형 WiseQA 플랫폼 기술개발(엑소브레인)

- 실시간 대규모 영상 데이터 이해·예측을 위한 고성능 비주얼 디스커버리 플랫폼 기술개발(딥뷰)

- 언어·시각·청각·감각 지능의 상호작용으로 복합적인 상황 이해에 기반한 지식 성장 제공 등 자율성장형 복합인공지능 핵심원천기술

6. 지원기간/예산/추진체계

ㅇ 기간 : 4년 이내   ㅇ 정부출연금 : ‘22년 20억원 이내(총 정부출연금 110억원 이내)

* 1차년도(‘22.8~’23.1), 2차년도(‘23.2~’24.1), 3차년도(‘24.2~’24.12), 4차년도(‘25.1~’25.12)

* 1차년도 20억 이내, 2~4차년도 매년 30억 이내(정부 예산사정에 따라 변경 가능)

ㅇ 주관기관 : 제한없음

ㅇ 특이사항 : 연구추진체계 내 공동연구기관에 산·학·연과 협업체계 마련 필수

기술분류

대분류(SW‧AI) - 중분류(인공지능) - 소분류(복합지능) - 세분류(범용인공지능(AGI))

연구유형

기초연구 (  ), 응용연구 ( ○ ), 개발연구 (  )

TRL

( 3 ) ~ ( 5 )

과제특징

정책지정( ), 혁신도약형(선도)( ○ ), 혁신도약형(전문연구실)( ), 경쟁형(일반)( ), 경쟁형(챌린지)( ), 사회문제해결형( ), 표준화연계( ), 사업화연계( ), IP-R&D연계( ), 소재부품장비( ), SW자산뱅크등록( ), 공개SW( ○ ), 기술료비징수( ○ ), 일자리 연계( ), 규제샌드박스( ), 연구데이터공개( ○ ), 보안과제( )

중점기획분야

DNA( ○ ), 디지털뉴딜( ○ ), 기술패권경쟁( ○ ), 탄소중립(  )

책임PM

(과제기획위원장)

기술분야

인공지능·데이터

성    명

이 현 규

붙임		RFP