CosFace 리뷰

Abstract

본 논문에서는 분류 문제에서 사용하는 softmax 함수가 판별력(discrimination)이 부족하다고 주장한다. 판별력을 강화하기위해 center loss, large margin softmax , angular softmax loss 와 같은 여러 손실함수들이 제안되었습니다. 클래스간 분산(inter-class variance)를 최대화하고 클래스 내 분산(intra-class variance)를 최소화한다는 아이디어로 구현되었습니다.

본 논문에서는 기존의 아이디어를 강화하기 위해 Large Margin Cosine Loss라는 새로운 손실 함수를 제안합니다.

1. feature vector와 weight vector 모두 L2 norm하여 vector의 크기(사진의 품질)는 제거하여 softmax loss를 cosine loss로 재구성합니다.
2. 각도 공간에서 결정 마진(decision margin)을 더욱 최대화하기 위해 cosine margin term을 도입합니다.

Introduction

기존 CNN 모델 + Classification layer + softmax loss의 경우 변별력(discriminating power)있는 분류 능력을 확보하기 어렵습니다.

• 기존 softmax 손실함수는 클래스 간 (inter class) 변별력(거리)를 벌리는 데 효과적이지만 클래스 내 (intra class) 응집력을 높이지는 못합니다.
  • softmax 손실함수는 결정경계만 넘기면 되기 때문에 feature vector들은 결정경계 넘어 넓게 펼쳐져있습니다.

위의 문제를 개선하기 위해 클래스 간 분산 최대화와 클래스 내 분산 최소화라는 동일한 아이디어를 공유하여 연구가 됩니다. 유클리드 margin과 비교했을 때, 각도 margin이 선호되는데, 이는 각도의 cosine 값이 softmax와 본질적인 일관성을 가지기 때문입니다. cosine 관련 변별 정보를 개선하기 위해 서로 다른 클래스 사이에 cosine margin을 직접 도입하는 것이 합리적입니다.