자연어처리-5 Transformer(2)
오늘은 지난 트랜스포머 1편에 대한 구체적인 동작 원리를 코드를 통해 알아보도록 하겠다. 지난 포스팅이 궁금한 사람은 여기를 참고하기 바란다.
최근 포스트
자연어처리-5 Transformer(1)
정말 오랜만에 다시 글을 쓰러 왔다. 지금까지는 학부생이었는데, 지금은 직장인이 되었다.. 오늘은 Transformer에 대해서 알아보려고 한다. 공부하는데 어려움이 있었지만 꽤 흥미로웠다!! 본 포스팅은 2편으로 만들 예정이고, 1편에서는 간단한 구조를 알아보고 2편에서는 코드를...
seq2seq모델에 어텐션 매커니즘을 추가해보자
어텐션을 적용한 seq2seq 지난시간 seq2seq에 이어 이번 포스팅에서는 어텐션 매커니즘을 추가한 seq2seq를 만들어보겠다. seq2seq 포스팅은 여기, 어텐션 매커니즘 포스팅은 여기를 참고하면된다. 데이터 불러오기 및 전처리는 seq2seq포스팅과 같기때문에 모델...
LSTM의 return_state와 return_sequences
return_state=False, return_sequences=False
자연어처리-4 Attention Mechanism
지난시간에 seq2seq모델에 대해서 포스팅 했었다. 여기 이번 시간에는 자연어처리 시리즈 4번째인 어텐션 메커니즘에 대해 알아보자. seq2seq모델의 한계 seq2seq모델에 대해서 잠깐 복습해보자. 입력 시퀀스가 들어오면 인코더를 거쳐서 고정된 길이의 컨텍스트 벡터를 내보...