<aside> 💡

**Measuring and Improving Semantic Diversity of Dialogue Generation

이 글에서는 대화 생성 과제에서 다양성을 제고시키기 위한**

</aside>

Introduce

응답 다양성은 오픈 도메인 대화 생성 모델의 품질을 평가하는 중요 요인입니다. 그러나 현재의 응답 다양성 평가 척도는 주로 생성된 응답의 어휘적 측면만을 고려하므로, 생성된 응답의 의미적 다양성을 충분히 포착하지 못합니다. 이 논문에서는 생성된 응답의 의미적 다양성 측정을 위한 새로운 평가 척도로써 **Sem-Ent (SemanticEntropy)**와, 대화 생성 모델의 의미적 다양성 제고를 위한 학습 방법론으로써 **DRESS(Diversifying RESponses Semantically)**를 제안합니다.

대부분의 대화 생성 학습을 위한 데이터셋에서는 응답들의 의미적 분포가 불균형합니다. 이는 곧 모델이 의미적으로 다양한 의미의 대화를 생성하는 것을 어렵게 만듭니다.

DRESS 방법은 흔한 의미를 가진 응답에 대해서는 적게 학습하고 드문 의미를 가진 응답에 대해서는 더 많이 학습함으로써 응답의 의미적 다양성을 높입니다.

DRESS를 통해 대화 생성 모델은 의미적으로 다양한 응답을 생성할 수 있습니다. 두 가지 벤치마크 데이터셋에 대한 실험 결과는, DRESS가 최신 기준 방법들과 비교하여 더 좋은 의미적 다양성을 보여주며, 응답의 일관성도 향상됨을 보여줍니다. 흥미롭게도, DRESS는 의미적 다양성 개선에만 초점을 맞추었음에도 불구하고 어휘 수준 다양성 척도에서 기준 모델보다 더 나은 성능을 달성합니다. 또한, 인간 평가 결과는 DRESS의 효과를 보여주며, DRESS가 생성된 응답의 적절성과 정보성 측면에서 모든 기준 방법들을 능가합니다.