자연어처리-5 Transformer(1)
정말 오랜만에 다시 글을 쓰러 왔다. 지금까지는 학부생이었는데, 지금은 직장인이 되었다.. 오늘은 Transformer에 대해서 알아보려고 한다. 공부하는데 어려움이 있었지만 꽤 흥미로웠다!! 본 포스팅은 2편으로 만들 예정이고, 1편에서는 간단한 구조를 알아보고 2편에서는 코드를...
최근 포스트
seq2seq모델에 어텐션 매커니즘을 추가해보자
어텐션을 적용한 seq2seq
LSTM의 return_state와 return_sequences
return_state=False, return_sequences=False
자연어처리-4 Attention Mechanism
지난시간에 seq2seq모델에 대해서 포스팅 했었다. 여기 이번 시간에는 자연어처리 시리즈 4번째인 어텐션 메커니즘에 대해 알아보자.
seq2seq를 이용한 번역기 만들기
데이터 불러오기 우선 번역기를 만드려면 두개의 언어가 병렬적으로 구성된 데이터가 필요하다. 오늘 사용할 데이터는 ‘프랑스어-영어’ 로 구성된 데이터를 사용하겠다. 데이터는 (http://www.manythings.org/anki/fra-eng.zip) 에서 받을 수 있다. 압축을 ...