커스텀 dual encoder BERT로 문장 유사도를 계산하기
본 포스팅은 지금 하고 있는 연구가 Sentence_transformers 라이브러리의 모델에서 cross-attention을 사용할 수 없어서 transformers 라이브러리의 모델로 변환하는 과정을 담고 있습니다. 도움이 되셨으면 좋겠습니다. ㅎㅎ..
최근 포스트
DPR(Dense Passage Retrieval for Open-Domain Question Answering) 논문정리
Introduction Dense representation만을 이용해서 Retrieval을 구현함 1) 기존에는 Sparse representation을 사용해서 retrieval을 수행(TF-IDF, BM25) 2) Q: Who is the bad guy in lord o...
Attention의 원리와 계산과정(완전 쉬움!)
기존 Attention 포스팅에서 부족한 부분을 추가 설명하는 포스팅입니다.
KAN:Kolmogorov-Arnold Networksv 논문 간단하게 이해하기
본 논문 중 수식적인 부분은 제외하고 최대한 제가 이해한 대로 작성하였습니다. 수식에 관련한 부분은 논문을 참고해 주세요!
파이토치-커스텀 데이터셋 만들기
파이토치에서는 데이터를 좀 더 쉽게 다룰 수 있도록 하는 Dataset 클래스가 있다. 최근에 프로젝트를 진행할 때 100GB나 되는 데이터를 한번에 전처리 해서 데이터를 gpu에 올려놨었는데, 이렇게 하면 전처리 과정에서 시스템 메모리를 엄청나게 먹고 데이터도 gpu공간을 너무 ...