오늘은 ‘생성형 AI 모델에서의 콘텐츠생성에 대하여'( About Creation Contents in the Generative AI Model) 설명을 하겠습니다. 언제부터인가 우리는 CHATGTP를 떠나서는 생활하기가 힘들 정도로 매일매일 접하고 있는 것 같습니다. 그런데 궁금하지 않으세요? 어떻게 프롬프트(Prompt)에 단어 몇 개를 입력하면, 그와 관련된 내용에 대해 우리가 원하는 답을 얻을 수 있는지 궁금하셨죠? 그와 관련된 내용을 설명드리겠습니다.
1. 자연어 처리( NLP)
자연어 처리(NLP: Natural Language Processing) 와 같은 모델은 다음과 같은 원리로 콘텐츠를 생성합니다.
a) 데이터의 수집과 학습
- 데이터 수집: 생성형 AI는 관련된 사항의 대량 데이터를 수집하고 그 데이터를 모델이 ‘패턴’을 학습할 수 있도록 훈련합니다.
b) 모델 아키텍처
생성형 AI는 일반적으로 인공신경망( Artificial Neural Networks)을 기반으로 모델 아키텍로서 Transformer 아키텍쳐를 사용합니다.
- 구성 요소로는 인코더( Encoder)와 디코더( Decoder)로 나뉩니다.
- 인코더는, 입력 단어를 고차원 벡터로 변환하고 단어의 순서를 인식하기 위해 단어 벡터에 위치와 정보를 추가하여 각 단어가 다른 단어와 얼마나 관련이 있는가를 계산하여 가중치를 부여합니다.
- 디코더는, 인코더와 유사하지만, 이전 단어를 고려하면서 다음에 올 단어를 예측하여 추가적인 자기주의 메커니즘을 포함한다고 생각하면 됩니다.
- 장점으로 RNN과는 다르게 시퀀스의 모든 단어를 동시에 병렬 처리할 수 있으므로 학습 속도가 빠릅니다.
c) 생성 과정
생성 과정은 학습한 내용을 바탕으로 적절한 단어와 문장을 선택하고 각 단어가 다음에 올 확률을 계산하고 이 확률에 따라 단어를 선택합니다.
2. 순환 신경망( Recurrent neural networks)
순환 신경망(RNN: Recurrent Neural Network)은 시퀀스 데이터를 처리하기 위한 인공신경망의 한 종류이며, RNN은 입력 정보를 기억하고 있어 이를 현재의 입력과 결합하여 처리할 수 있는 능력을 갖추고 있습니다. 즉 시간의 의존성을 모델링화할 수가 있어서 자연어 처리와 같은 분야에 효과적입니다.
3. 마무리
지금까지 생성형 AI모델에 있어서의 콘텐츠 생성에 대해 알아보았습니다. 추가로 자기주의 메커니즘에 대해 설명을 해드리지 못했는데 간단하게 설명해 드리면 입력 시퀀시의 각 단어가 다른 단어와의 관계를 평가하여 가중치를 계산하는 것입니다. 입력 벡터를, 쿼리(Quary), 키(Key), 값(Value)로 변환을 하여 쿼리와 키 간의 내적을 통해 유사도를 계산합니다. 장점으로 RNN과 달리 시퀀스의 모든 단어를 동시에 처리할 수 있으므로 학습 속도가 빠르다는 장점이 있습니다. 이와 같이 간단하게 생성형 AI에서 콘텐츠 생성에 대해 알아보았습니다.