DPR(Dense Passage Retrieval for Open-Domain Question Answering) 논문정리
Introduction Dense representation만을 이용해서 Retrieval을 구현함 1) 기존에는 Sparse representation을 사용해서 retrieval을 수행(TF-IDF, BM25) 2) Q: Who is the bad guy in l...
최근 포스트
Attention의 원리와 계산과정(완전 쉬움!)
기존 Attention 포스팅에서 부족한 부분을 추가 설명하는 포스팅입니다. 사전지식 특정 정보를 가진 텐서는 Weight Matrix를 통과해도 정보는 보존된다. 각각 다른 정보를 가진 텐서A와 텐서B를 Weighted sum을 하면 두 정보 중에서 Weight가 큰 ...
KAN:Kolmogorov-Arnold Networksv 논문 간단하게 이해하기
본 논문 중 수식적인 부분은 제외하고 최대한 제가 이해한 대로 작성하였습니다. 수식에 관련한 부분은 논문을 참고해 주세요!
파이토치-커스텀 데이터셋 만들기
파이토치에서는 데이터를 좀 더 쉽게 다룰 수 있도록 하는 Dataset 클래스가 있다. 최근에 프로젝트를 진행할 때 100GB나 되는 데이터를 한번에 전처리 해서 데이터를 gpu에 올려놨었는데, 이렇게 하면 전처리 과정에서 시스템 메모리를 엄청나게 먹고 데이터도 gpu공간을 너무 ...
랭체인으로 PDF 문서를 읽고 대화내용을 기억하는 LLM 만들기
본 포스팅은 langchain==0.0.229를 사용합니다. 현재(2024/04/15)기준 최신 버전은langchain==0.1.16이므로 참고 바랍니다. 또한 gpt-3.5-turbo-0125모델을 사용하므로 openai api키가 있어야합니다.