<aside> 💡 **XLNet: Generalized Autoregressive Pretraining for Language Understanding**

BERT로 대표되는 Denoising Autoencoding 사전학습은 양방향 정보를 활용하며, Autoregressive Language Modeling 보다 좋은 성능을 보인다는 장점과 동시에 masked 토큰과 다른 토큰간의 관계성을 반영하지 못하고, 사전학습과 Fine Tuning간의 괴리가 존재한다는 단점이 존재합니다. 이 논문에서는 앞서 언급한 Denoising Autoencoding 사전학습 방식의 장단점을 모두 고려하며, 일반화된 Autoregressive Language Modeling 방식을 적용한 XLNet을 소개합니다.

</aside>

1. Introduction

다량의 Unlabeled Text Corpus Dataset로 사전 학습 된 Unsupervised Representation를 Fine Tuning에서 활용하는 방법론은 다양한 연구를 통해 그 효용성이 입증되었습니다. Unsupervised Representation를 학습하기 위한 unsupervised pretraining objectives 중 가장 대표적인 것은 GPT로 대표되는 Auto Regressive 방식과 BERT로 대표되는 AutoEncoding 방식입니다.

Auto Regressive —————————

• 자기 회귀적 방식으로 Text Corpus에 대한 확률 분포를 추정
• 추정을 위한 회귀 방향에 따라 Forward Product 혹은 Backward Product로 토큰들을 분해하고, 모델은 각 조건 분포를 모델링하도록 학습
• 전방 혹은 후방 중 하나의 방향으로만 문맥을 인코딩하며 학습하기 때문에, 깊은 양방향 문맥을 모델링하기 어려움

Auto Encoding ————————

• 명확한 밀도의 추정보다는 손상된 입력에서 원본 데이터를 재구축하는 것을 우선시 함
• 재구축 시, Masked Token 주변의 모든 정보를 활용하면서 깊은 양방향 문맥을 모델링하도록 학습
• Down Stream Task에서는 Masked Token가 등장하지 않기에 사전학습과 Fine Tuning간 괴리 발생
• 예측된 토큰이 입력에서 Masking되어 있기에, AR과 같은 Product Rule을 통한 결합 확률 모델링이 어려움

Generalized Auto Regressive Method ———————————————————

AR, AE 방식 모두 각각의 장단점을 지니고 있습니다. 때문에 이 논문에서는 기존 방식의 장단점을 모두 고려한 Generalized Auto Regressive 방식을 제시하며, 그 특징은 다음과 같습니다.

• 시퀀스를 전방 혹은 후방 순열로 분해하던 기존 AR모델과 달리, 가능한 모든 순서의 순열을 활용해 Expected Log Likelihood를 최대화. 순열 연산 덕분에 각 포지션의 문맥이 왼쪽과 오른쪽의 토큰으로 구성될 수 있어 양방향의 문맥 학습이 가능
• AE 모델처럼 데이터 손상에 의존하지 않으므로, 사전학습과 파인튜닝간 괴리 문제에서 자유로움
• Transformer-XL의 segment recurrence mechanism 및 relative encoding scheme을 사전학습에서 활용하며 긴 시퀀스에서의 처리능력 향상을 도모
• 임의적 순열 순서와 애매한 레이블 값이라는 제한 사항에서 Transformer-XL을 효과적으로 사용하기 위해 파리미터를 재구축해 사용

2. Proposed Method

2.1 Background