<aside> 💡 **BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding**

Masked Language Modeling과 Next Sentence Prediction을 통한 사전학습으로 Deep Bi-Directionality를 강화시켜 강력한 자연어 이해 능력으로 다양한 자연어 이해 과제에서 사용가능한, Transformer 기반의 사전 학습 언어 모델 BERT(Bi-directional Encoder Representations from Transformer)를 소개합니다.

</aside>

1. Introduction

언어 모델을 대규모 데이터셋을 통해 사전학습 시키고, 사전학습 된 모델을 Down Stream Task에서 사용하는 방법론의 효용성은 다양한 연구를 통해 입증 되어왔습니다. 이러한 연구 흐름의 대표적인 모델로는 ELMo와 GPT가 있으며, 이 논문에서 제시하는 BERT 역시 그 흐름의 궤를 같이 합니다. 비록 ELMo와 GPT가 좋은 성능을 보였지만, BERT 연구진은 아래와 같은 이유에서 이전 모델들의 한계점을 인식하고, 이를 개선시킨 BERT 모델을 소개합니다.

ELMo ———

• Left-to-Right & Right-to-Left Directional LSTM layers를 통합한 Bi-Directional Representation을 구현했지만, 양방향 LSTM의 단순한 벡터의 병합으로 Swallow Bi-directionality에 불과
• Feature Based Approach를 통한 전이 학습 방법론을 채택함으로 인해, 과제에 따라 별도의 복잡한 모델링이 필요하므로 사용자 편의성 결여

GPT ———

• ELMo와 달리Fine Tuning 방식을 사용하므로 다양한 Task에 비교적 쉽게 적용 가능하며, 다양한 NLP Task에서 Sota를 기록할 정도로 성능 역시 뛰어남
• 하지만 단방향 LM 학습으로 전체 시퀀스에 대한 깊은 이해가 어렵다는 단점이 존재

BERT ————

• Transformer의 Encoder를 중첩시킨 모델 구조 채택
• Masked Language Modeling를 통한 사전학습으로 ****모델의 Deep Bi-Directional Representation 능력을 배양
• Next Sentence Prediction를 추가적인 사전학습 Objective로 활용함으로써, 단어 수준의 이해를 넘어, Sequence 단위의 언어 이해능력을 배양시키고, 보다 다양한 Task에 적용 가능성 제고
• 성능의 향상 뿐만 아니라 Fine Tuning Approach를 통한 전이학습 방식을 취함으로써 간단한 레이어의 추가만으로 다양한 과제에 적용 가능한 사용 편의성 제고
• 11개 NLP Task에서 Sota를 기록하며 성능적인 뛰어남 역시 증명

2. BERT

Overview ——————

BERT의 학습은 위의 그림처럼 Pre Training 과 Fine Tuning이라는 두 단계를 거칩니다. Pre Training에서는 다량의 Unlabeled Dataset으로 모델을 학습시키고, Fine Tuning에서는 사전학습된 모델의 파라미터를 초기 시작점으로 사용합니다. BERT의 두드러지는 특징 중 하나는 Down Stream Task 종류에 관계없이 동일한 모델 구조를 유지한다는 것입니다. 덕분에 사전학습 모델과 Fine Tuning 모델 사이 차이가 거의 없습니다.

Model Architecture ——————————

BERT의 Model Architecture는 Transformer의 Encoder가 중첩된 구조로 이루어져 있습니다. BERT의 이런 모델 구조는 Transformer의 Decoder만을 사용했던 GPT의 구조와 극명하게 대비되며, 이는 LM만을 목적으로 했던 GPT와 Deep Bidirectionality를 함양시키기 위해 입력 시퀀스의 모든 정보를 활용하고자 하는 BERT의 목적성 차이에서 기인한 것으로 볼 수 있습니다.

BERT는 Model Size에 따라 Base & Large Model을 구분지으며, 각 모델 별 하이퍼 파라미터는 아래와 같습니다.

• BERT Base: L=12, H=768, A=12, params=110M (GPT와 동일 사이즈)
• BERT Large: L=24, H=1024, A=16, params=340M