Attention의 원리와 계산과정(완전 쉬움!)
기존 Attention 포스팅에서 부족한 부분을 추가 설명하는 포스팅입니다.
최근 포스트
KAN:Kolmogorov-Arnold Networksv 논문 간단하게 이해하기
본 논문 중 수식적인 부분은 제외하고 최대한 제가 이해한 대로 작성하였습니다. 수식에 관련한 부분은 논문을 참고해 주세요!
파이토치-커스텀 데이터셋 만들기
파이토치에서는 데이터를 좀 더 쉽게 다룰 수 있도록 하는 Dataset 클래스가 있다. 최근에 프로젝트를 진행할 때 100GB나 되는 데이터를 한번에 전처리 해서 데이터를 gpu에 올려놨었는데, 이렇게 하면 전처리 과정에서 시스템 메모리를 엄청나게 먹고 데이터도 gpu공간을 너무 ...
랭체인으로 PDF 문서를 읽고 대화내용을 기억하는 LLM 만들기
본 포스팅은 langchain==0.0.229를 사용합니다. 현재(2024/04/15)기준 최신 버전은langchain==0.1.16이므로 참고 바랍니다. 또한 gpt-3.5-turbo-0125모델을 사용하므로 openai api키가 있어야합니다.
자연어처리-5 Transformer(2)
오늘은 지난 트랜스포머 1편에 대한 구체적인 동작 원리를 코드를 통해 알아보도록 하겠다. 지난 포스팅이 궁금한 사람은 여기를 참고하기 바란다.