오늘은 요즘 AI 인공지능 관련 큰 화제가 되고 있는 LLM(Large Language Model)과 SLM(Small Language Model)에 대해 설명드리겠습니다. 먼저 LLM의 뜻은 대규모 언어 모델로, 사람이 이해할 수 있는 방대한 텍스트 데이터를 인공지능이 학습하여 자연어 이해와 생성 능력을 향상하기 위해 만들어졌습니다. 다시 말해서 LLM은 방대한 Text data를 기반으로 사전에 학습된 초대형 Deep-learning이라 이해해 주시면 됩니다. 우리가 최근 매일 사용하고 있는 ChartGPT, BERT 등이 대표적인 LLM 모델입니다.
1. LLM ( Large Language Model: 대형 언어 모델)의 특징
‘LLM'(대형 언어 모델)의 주요 특징은, 기본적으로 언어에 대한 이해와 생성 능력이 뛰어나 사람들의 질문에 대한 답변, 설명에 대한 요약, 코드의 생성등 다양한 ‘자연어 처리’ 작업을 수행할 수 있으며 복잡한 문제에 대한 솔루션 제공, 연구에 기초 자료 제공 및 사람들의 창의성 향상에 기여할 수 있습니다. 기술적인 측면에서 Self-Attention을 사용하며 이것은 인공지능이 알 수 있는 문장으로 이루어진 단어와 구문의 관계를 이해할 수 있고, 문맥에 맞는 문장인 사람이 이해할 수 있도록 생성 가능합니다.
- ‘LLM’의 활용 분야
‘LLM’의 활용 분야는 각 분야에 다양하게 적용할 수 있으며 앞으로도 그 적용 분야는 더 커지고 다양해질 전망입니다.
- 자연어 처리 : 사람이 주고받는 채팅, 문서나 대화를 요약하는 기능 그리고 언어 변역 등 이용
- 의료: 의료 data를 분석하여 병을 진단하고, 환자를 관리하며 관련된 Data를 분석
- 금융: 시장 현황과 관련된 금융 보고서 작성, 재무 분석을 통한 투자 조언 등
- 교육 : 학습에 대한 분류 및 콘텐츠 생성, 과제에 대한 질문과 답변 등
- 소프트웨어 : 빠른 속도로 코드를 생성하고 지원 등
*자연어 처리( Natural Language Processing): 인간 언어의 규칙 기반 모델링을 통해 통계, 머신 러닝 모델과 결합하여 컴퓨터와 디지털 디바이스가 텍스트와 음성을 인식하여 생성할 수 있음.
2. ‘SLM'( Small Language Model: 소규모 언어 모델)의 특징
‘SLM’은, ‘LLM’에 비해 상대적으로 ‘매개변수'( Parameter)와 모델 크기, 그리고 학습 데이터의 요구량이 작지만 특정 분야의 도메인에서 좋은 성과를 보일 수 있습니다. 무엇보다도 ‘SLM’의 장점은 효율적으로 비용을 절감할 수 있으며, 특정 도메인에서 좋은 성과를 보일 수 있고 모바일이나 태블릿등 크기가 작은 디바이스 등에 적용이 가능한 소규모 언어 모델입니다. 정리하면 ‘SLM’은 ‘LLM’에 비해 모델크기와 계산 자원 요구량이 작으며 특정한 도메인에 좋은 성과를 보일 수 있는 언어 모델입니다.
3. ‘s-LLM’ ( smaller Large Language Model:경량 대형 언어 모델)의 특징
‘s-LLM'(smaller Large Language Model)은 ‘LLM ‘비해 상대적으로 작은 모델 크기와 학습 데이터등 요구 자원량이 작지만 복잡한 언어 작업도 수행할 수 있는 언어 모델입니다. ‘s-LLM’의 장점은 ‘LLM’에 비해 비용이 효율적입니다. ‘SLM’과 ‘s-LLM’을 비교하자면 ‘s-LLM’이 ‘SLM’보다 더 복잡한 구조와 성능을 가지고 있지만 LLM에 비하며 매개변수 측면에서도 여전히 그 요구량은 작다고 할 수 있습니다.
4. 마무리
이상으로 ‘LLM’, ‘SLM’, 그리고 ‘s-LLM’에 대해 알아보았습니다. 참고로 매개변수 측면에서 하기의 테이블로 정리해 보았습니다.
| 구분 | LLM | SLM | s-LLM |
| 매개변수( Parameter) | 1,000억개 이상 | 수10억~수100억개 | 수 10억개 |
| 특징 | 매개변수가 많으면 많을 수록 성능 향상은 가능하나 비용과 시간이 많이 소요 | 비용과 자원 요구사항이 낮지만 성능도 낮은편 | 비용과 시간 절감 가능 |
| 사용사례 | GPT-3 : 1,750억개
PaLM: 5,400억개 |
Meta: 120억개 | MS: Phi: 27억개 |
어떠신지요? 이제 LLM, SLM, 그리고 s-LLM의 구분이 되셨는지요? 다음에도 더 알차고 중요한 내용으로 찾아뵙겠습니다.