자연어처리-4 Attention Mechanism
지난시간에 seq2seq모델에 대해서 포스팅 했었다. 여기 이번 시간에는 자연어처리 시리즈 4번째인 어텐션 메커니즘에 대해 알아보자. seq2seq모델의 한계 seq2seq모델에 대해서 잠깐 복습해보자. 입력 시퀀스가 들어오면 인코더를 거쳐서 고정된 길이의 컨텍스트 벡터를 내보...
최근 포스트
seq2seq를 이용한 번역기 만들기
데이터 불러오기 우선 번역기를 만드려면 두개의 언어가 병렬적으로 구성된 데이터가 필요하다. 오늘 사용할 데이터는 ‘프랑스어-영어’ 로 구성된 데이터를 사용하겠다. 데이터는 (http://www.manythings.org/anki/fra-eng.zip) 에서 받을 수 있다. 압축을 ...
자연어처리-3 seq2seq(시퀀스투시퀀스)모델에 대하여
seq2seq(Sequence-to-Sequence)란? seq2seq는 입력된 시퀀스로부터 다른 시퀀스를 출력하는 모델이다. 입력 시퀀스에 질문, 출력 시퀀스에 답변으로 구성하면 챗봇을 만들 수 있고, 입력 시퀀스에 문장과 출력 시퀀스에 번역문장으로 구성하면 번역기를 만들 수 ...
딥러닝에서의 ‘학습’이란 무엇일까?
학습이란 어떤 데이터로부터 규칙을 찾는것이라고 할 수 있다. 간단한 예시를 보자 x = [1, 2, 3, 4, 5] y = [13, 23, 33, 43, 53] x, y의 데이터가 있다. 사람이라면 x와 y사이의 규칙을 쉽게 찾을 수 있다. x에 10을 곱해서 3을 더하거나, x...