seq2seq모델에 어텐션 매커니즘을 추가해보자
어텐션을 적용한 seq2seq 지난시간 seq2seq에 이어 이번 포스팅에서는 어텐션 매커니즘을 추가한 seq2seq를 만들어보겠다. seq2seq 포스팅은 여기, 어텐션 매커니즘 포스팅은 여기를 참고하면된다. 데이터 불러오기 및 전처리는 seq2seq포스팅과 같기때문에 모델...
최근 포스트
LSTM의 return_state와 return_sequences
return_state=False, return_sequences=False
자연어처리-4 Attention Mechanism
지난시간에 seq2seq모델에 대해서 포스팅 했었다. 여기 이번 시간에는 자연어처리 시리즈 4번째인 어텐션 메커니즘에 대해 알아보자. seq2seq모델의 한계 seq2seq모델에 대해서 잠깐 복습해보자. 입력 시퀀스가 들어오면 인코더를 거쳐서 고정된 길이의 컨텍스트 벡터를 내보...
seq2seq를 이용한 번역기 만들기
데이터 불러오기 우선 번역기를 만드려면 두개의 언어가 병렬적으로 구성된 데이터가 필요하다. 오늘 사용할 데이터는 ‘프랑스어-영어’ 로 구성된 데이터를 사용하겠다. 데이터는 (http://www.manythings.org/anki/fra-eng.zip) 에서 받을 수 있다. 압축을 ...
자연어처리-3 seq2seq(시퀀스투시퀀스)모델에 대하여
seq2seq(Sequence-to-Sequence)란? seq2seq는 입력된 시퀀스로부터 다른 시퀀스를 출력하는 모델이다. 입력 시퀀스에 질문, 출력 시퀀스에 답변으로 구성하면 챗봇을 만들 수 있고, 입력 시퀀스에 문장과 출력 시퀀스에 번역문장으로 구성하면 번역기를 만들 수 ...