[LLM이란?]
대화와 기타 자연 언어 입력에 인간과 유사한 응답을 생성하는 LLM(대규모 언어 모델)은
딥러닝 기술로 구축된다. 이 모델은 방대한 양의 데이터 셋(책, 기사, 온라인 콘텐츠 등)을
학습하여 다양한 언어적 작업을 수행한다.
가장 잘 알려진 LLM에는 Open AI의 GPT 시리즈와 Google의 BERT 모델이 있다,
이 LLM은 많은 파라미터를 가진 심층 신경망으로 구성되어 있어서 텍스트의 패턴과 구조를
학습하여 텍스트 생성, 번역, 요약, 질문 답변 등 다양한 자연어 처리 작업을 수행할 수 있다.
또한 미리 학습된 모델을 사용하여 다양한 자연어 처리 작업에 적용할 수 있다.
LLM은 인간 언어의 뉘앙스를 학습하려면 일반적으로 최소 수십억 단어에 달하는
방대한 텍스트 코퍼스에서 교육되며, 여기서 텍스트 코퍼스는 학습에 사용되는 텍스트 데이터들의
집합을 의미한다.
위에서 언급한 것처럼,
ChatGPT는 가장 잘 알려진 LLM 중 하나로 1,750억 개의 매개 변수를 가지며,
번역, 요약 및 글쓰기와 같은 다댱한 자연어 작업을 처리할 수 있다.
[LLM의 역사]
1. 성장의 씨앗
- 언어 모델의 초기 발달 -
: LLM의 역사는 자연어 처리와 기계 학습 분야의 초기 개발로 거슬러 올라간다.
초기에는 N-그램과 같은 통계적 언어 모델, 순환 신경망(RNN)과 같은 신경망 기반 모델들이 포함되어 있다.
2. 텍스트의 혁신
- 트랜스포머 모델의 등장 -
: LLM의 개발에 중요한 발전은 2017년 Vaswani 등이 발표한 'Attention Is All You Need' 논문에서 소개된
트랜스포머 모델로 이루어졌다. 트랜스포머 구조는 Self-attention 매커니즘을 사용하여
장거리 종속성을 효율적으로 포착하고, 자연어 처리 작업에 혁명적인 영향을 미쳤다.
3. 언어의 거인들
- 대규모 사전 학습의 부상 -
: 2018년경부터 연구자들은 언어 모델에 대규모 사전 학습 전략을 도입하기 시작했다.
이러한 접근 방식은 인터넷에서 막대한 양의 원시 텍스트 데이터를 사용하여
모델을 사전 학습한 다음, 특정 하위 작업에 대해 세부 조정하는 방식이다.
이 방법은 풍부한 언어적 정보와 문맥을 효과적으로 포착하는데 매우 효과적이었다.
4. GPT 시리즈 탄생
- 자연어 처리의 새로운 지평 -
: 2018년, OpenAI는 GPT-1을 시작으로 GPT-2, 그리고 GPT-3를 소개하였다.
이러한 모델은 다양한 자연어 처리 작업에서 놀라운 성능을 보여주며,
LLM의 인기를 크게 높였다.
5. 세상을 넓히다..
- 발전과 스케일링 -
: GPT-3의 소개 이후, LLM 분야에서는 지속적인 발전이 이루어졌다.
연구자들은 모델 구조, 학습 전략, 모델 크기를 수십억 개의 파라미터로
확장하는 방법 등에 집중하고 있다.
6. AI 윤리의 번영과 도전
- LLM의 윤리적 고려 사항 -
: LLM이 더욱 강력해지고 현실적인 텍스트를 생성하는 능력을 갖추면서,
이를 이용한 윤리적 고려 사항, 편향성, 사회적 영향에 대한 문제들이
인공지능 커뮤니티와 더 넓은 대중의 관심사로 떠오르고 있다.
[LLM의 특징]
1. 대규모 파라미터
: LLM은 수십억 개의 매개변수로 구성된 대규모 신경망을 사용한다.
매개 변수의 수가 많을수록 모델은 더 복잡한 언어적 표현과 패턴을 학습할 수 있다.
2. 자연어의 이해와 생성
: LLM은 자연어 처리에 뛰어난 능력을 갖추고 있다.
텍스트를 이해하고 분석하여 질문에 답하거나, 번역/요약/문장 생성 등
다양한 자연어 작업을 수행할 수 있다.
3. 사전 학습과 세부 조정
: LLM은 대규모 텍스트 코퍼스를 사전에 학습한 후, 특정 작업에 따라 세부 조정된다.
이를 통해 높은 성능과 범용성을 보여준다.
4. 미리 학습된 모델 활용
: 일반적으로 미리 학습된 LLM 모델을 사용하여 다양한 언어 작업에 적용할 수 있다.
즉, 새로운 작업에도 쉽게 활용 가능하다는 뜻이다.
5. 언어의 뉘앙스 학습
: LLM은 수십억 개의 단어로 구성된 방대한 텍스트 코퍼스를 통해 언어의 뉘앙스를 학습한다.
이로 인해 자연스러운 언어 생성이 가능해진다.
6. 성능과 리소스
: LLM은 높은 성능을 보이지만, 이러한 성능은 상당한 계산 리소스와 데이터를 필요로 한다.
따라서 개발과 학습에는 상당한 비용과 시간이 소요될 수 있다.
7. 윤리적 고려 사항
: LLM의 능력을 통해 생성된 텍스트는 사회적 영향을 미칠 수 있으므로
데이터의 품질과 모델의 편향성 등에 대한 윤리적 고려 사항이 중요하다.
[LLM의 학습 방법]
LLM의 학습 방법에는 사전 학습과 적응 튜닝이라는 두 가지 단계로 구성되며
위 방법과는 독립적으로 제로샷 학습과 퓨샷 학습이 존재한다.
사전 학습
LLM은 먼저 방대한 양의 텍스트 데이터를 사용하여 일반적인 언어 지식을 습득하는
사전 학습을 거친다. 이 데이터는 책, 기사, 웹페이지 등 다양한 출처에서 수집되며,
특정 도메인이나 작업에 편향되지 않도록 한다.
사전 학습은 LLM이 다음 단어를 예측하거나 누락된 단어를 채우는 언어 모델링 작업을
수행하도록 하고 이때, Base로 트랜스포머 모델을 사용한다.
적응 튜닝
사전 학습된 LLM은 이후 특정 도메인이나 작업에 적합하도록 적응 튜닝 단계를 거친다.
이 단계에서는 LLM이 이미 사전 학습된 모델을 사용하여 새로운 데이터 세트에 대해
추가적으로 학습하도록 하며, 이를 통해 LLM은 질의 응답, 감정 분석, 요약 등 다양한
자연어 처리 작업을 수행할 수 있도록 하고 작업별로 다른 목적 함수를 사용하여 세부조정한다.
Zero-shot Learning
간단한 명령어를 프롬포트로 임력하여 LLM에서 예상되는 응답을 생성하는 방식이다.
예를 들어, "Q : Mody가 좋아하는 음식은 뭐야? A:" 라고 프롬포트에 입력하면,
"A : 치킨" 과 같은 응답을 생성할 수 있다.
제로샷 학습은 적응 튜닝없이도 LLM의 일반화 능력을 평가할 수 있는 장점이 있다.
Few-shot Learning
몇 개의 예시를 프롬프트로 입력하여 LLM에서 유사한 형식의 응답을 생성하는 방식이며,
적응튜닝보다 간단하고 빠르게 LLM의 성능을 개선하는데 사용한다.
예를 들어,
"Q : 미국의 수도는 ? A:" , "A: 워싱턴 D.C"
"Q : 캐나다의 수도는 ? A:" , "A: 오타와"
"Q : 호주의 수도는 ? A:" , "A: 캔버라"
위와 같은 여러 개의 예시를 입력하면, 이전 예시들을 바탕으로 유사한 형식의 답변을 생성한다.
즉, "Q : 한국의 수도는 ? A:" 라는 프롬프트를 입력하면, LLM은 "A: 서울" 과 같이 이전 예시에서
본 형식과 비슷한 방식으로 답변을 생성한다.
[LLM의 한계]
환경적 부담과 접근성 문제
LLM은 1,000억 개 이상의 파라미터를 가지기에, 학습과 추론에 정말 많은 컴퓨팅 자원이 필요하다.
이는 LLM이 환경적으로 부담스럽고 접근성이 낮음을 의미하고, LLM은 텍스트를 기호로만 다루기 때문에
텍스트의 근본적인 의미와도 연결되기 어렵다.
즉, 상식적인 추론이나 창의적인 발상을 하기 어렵고 오류를 인식하고 수정이 어렵다는 것을 의미한다.
데이터 편향과 오류의 반영
LLM은 데이터로부터 학습하기 때문에, 데이터에 포함된 편향이나 오류를 그대로 반영할 수 있고,
이로 인해 LLM이 부적절하거나 윤리적으로 문제가 있는 결과를 내놓을 수 있다는 것을 시사한다.
위와 같은 문제를 해결하기 위해,
OpenAI는 Sama라는 기업에 분류작업을 아웃소싱했다
2021년 11월부터 사전학습을 마친 수 만개의 말뭉치들을 케냐 등 최빈국의 회사들로 보냈고,
케냐 등의 노동자들은 폭력, 증오표현, 성적 학대 등의 표현이 담긴 문장들을 분류해
해당 AI를 학습시켰고 ChatGPT는 현재의 뛰어난 성능을 가지게 된 것이다.
위 사례는 단순히 최빈국 노동자들을 착취하는 것에 초점을 맞추게 될 수도 있지만,
다른 관점에서 보면 아직 ChatGPT는 만능이 아니고 범용 AI로서 한계가 뚜렷하다는 생각을 해볼 수 있다.