연구록 (9) 썸네일형 리스트형 6월 둘째주 연구록 작성자 : 김응엽 연구원 작성 일시 : 2023년 06월 05일 진짜 최악의 6월을 보내는 중.. 그래도 할건 늘 해야한다.. 이번주에는 미친새끼처럼 논문읽기를 할 생각이다. 1. Multimodal + Contrastive Learning : 논문 읽기 하루에 2편씩 읽을 예정이다. Debiased Contrastive Learning : 2023년 현재 읽는중 Robust Contrastive Learning againt Noisy Views Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization Unified Contrastive Learning in Image-Text-Label Spa.. 5월 넷째주 연구록 작성자 : 김응엽 연구원 작성 일자 : 2023년 5월 23일 저번주에 뭔가 정말 일이 많았음.... 1. Multimodal. expectation maximization for cross modal retrieval : https://arxiv.org/pdf/2211.11427.pdf 발표 진행.(2023년 5월 22일) EMCL과 ALBEF에 대한 결합을 진행? -> 수요일 회의 때 진행 Multi-Grained Vision Language Pre-Training: Aligning Texts with Visual Concepts : https://arxiv.org/pdf/2111.08276.pdf Align before Fuse: Vision and Language Representation Lea.. 5월 셋째주 연구록 작성자 : 김응엽 연구원 작성 일시 : 2023년 5월 16일 이번주에는 논문 리서치 위주로 진행. MM은 성공적으로 마무리했다! 곧 MM 후기 올라갈 예정. 1. Fake News BaseLine : TSNN TSNN을 다시 한번 잘 읽고, 추가적으로 개선할 수 있는 방안 정리 TSNN을 위한 conda, cudatoolkit 가상환경 반복적으로 시도 -> 화요일 TSNN에 있는 Related works 전부 조사. 위 과정은 목요일까지 끝내도록 한다. 2. Contrastive Learning -> Vision 및 멀티모덜을 위한 아이디어 개발을 위함. Debiased Contrastive Learning Robust Contrastive Learning againt Noisy Views Fine-g.. 5월 둘째주 회의록 작성자 : 김응엽 연구원 작성일자 : 2023년 5월 12일 CL + MIM (deterministic) COTS, ALBEFm X-VLM Probabilistic (probabilistic) PCME, UATVR, EMCL 다 읽고 비판 -> motivation SimMIM + CRET Contribution 2 ramdom masking X 사전에 redundant한 patch/frame을 masking text에서도 semantically important한 word token을 우선하여 masking method1) Top-k : X-Pool 참고 method2) patch와 word 사이의 similarity matrix (정렬해서?) semantic prioriby based masking A.. 5월 첫째주 연구록 작성자 : 김응엽 연구원 작성 일시 : 2023년 5월 1일 월요일 1. MM 논문 수정 95% 완료 최종 수정 및 word 변환 Editing result를 받아들면 그에 맞게 최종 update 2. Paper Debiased Contasttive learing : NLP STS에 적용 도모 일단 지금 너무 급해서 여기까지 씀. 4월 셋째주 연구록 작성자 : 김응엽 연구원 작성 일시 : 2023년 4월 17일 ACMMM 2023 paper 수정 GNN 기초 공사 -> Fake News Detection UPFD Contrastive learning에서 Noise 제거하는 기법 숙지 NLP + XAI 1. ACMMM 2023 paper 수정 교수님과 지속적으로 수정 4/21일 Abstract 제출 4/30일 Full Paper 제출 2. Fake News Uncertainty-aware Propagation Structure Reconstruction for Fake News Detection 리딩 BASE는 현재 UPFD로 삼고, 6가지 내가 제안한 methods 중 간단한 것부터 순차적으로 진행 GNN에 대한 기본적인 이해를 꼭 해야 할 것이다... [NLP+Xai]4월 둘째주 연구록 작성자 : 김응엽 연구원 작성일자 : 2023년 4월 11일 1. 회의 내용 Motivation 정리 기존 RCMD는 유사도 행렬 상에서 max값에 과의존하는 경향이 있다. 그런데 실제 NLP Task 상에서는 가장 유사한 값을 갖는 Token 뿐만 아니라 그에 준하는 Token들의 존재 역시 있는데, 이를 과하게 무시해버리는 약점이 존재한다. 따라서 우리는 이 문제를 해결하기 위한 여러 가지 방법론에 대하여 Develop하고 있다. 2. Method 유사도 행렬이 나온 다음, 그 유사도 행렬과 동일한 차원의 베르누이 분포를 따르는 행렬을 만들고 이를 학습 시켜서 최종적으로 Max Token 뿐만 아니라 그에 준하는 Token들을 선별해내기 위한 작업. max를 기준으로 원본 유사도 행렬에 softmax.. [Multimodal] 4월 첫째주 회의록 작성자 : 김응엽 연구원 작성 일시 : 2023년 4월 7일 1. Paper reading 이나현 학생이 직접 Probabilistic Embedding for Cross-modal Retrieval 논문에 대한 코드리뷰를 진행함. MS-Soft contrastive loss to LogSumExp(SoftPlus)를 중심으로 재증명 이를 코드 상에서 1:1 매칭하는 작업을 같이 진행해보았다. 한계 : c={1,2}가 뭘 의미하는지 아무도 몰랐음. -> 이는 시험 끝나고 다시 읽음으로써 보완 작은 내용, 혹은 내가 현재 알고 있는 쉬운 내용부터 코드 혹은 논문에서 인지하고 이를 바탕으로 점진적으로 그 해석의 바운더리를 넓혀 나간다. 2. 향후 계획 확률론, Cross-Entropy를 기반으로 하여 Det.. 이전 1 2 다음
