[NLP+Xai]4월 둘째주 연구록

• 작성자 : 김응엽 연구원
• 작성일자 : 2023년 4월 11일

1. 회의 내용

• Motivation 정리 
  • 기존 RCMD는 유사도 행렬 상에서 max값에 과의존하는 경향이 있다. 
  • 그런데 실제 NLP Task 상에서는 가장 유사한 값을 갖는 Token 뿐만 아니라 
  • 그에 준하는 Token들의 존재 역시 있는데, 이를 과하게 무시해버리는 약점이 존재한다. 
  • 따라서 우리는 이 문제를 해결하기 위한 여러 가지 방법론에 대하여 Develop하고 있다. 

 

2. Method

• 유사도 행렬이 나온 다음, 그 유사도 행렬과 동일한 차원의 베르누이 분포를 따르는 행렬을 만들고
• 이를 학습 시켜서 최종적으로 Max Token 뿐만 아니라 그에 준하는 Token들을 선별해내기 위한 작업. 
• max를 기준으로 원본 유사도 행렬에 softmax를 취한 뒤 해당 max와 곱하는 방법.
• Intra text interaction. 
• Max token을 기준으로 상대 word token 사이의 공분산 행렬을 구하고 이를 활용하는 방법. 

 

3. Future

• 최여준 연구원 : 직접 훈련을 진행하면서 모델링 수행
• 김응엽 연구원 : 논문~!~!~!