자연어처리-3 seq2seq(시퀀스투시퀀스)모델에 대하여
seq2seq(Sequence-to-Sequence)란? seq2seq는 입력된 시퀀스로부터 다른 시퀀스를 출력하는 모델이다. 입력 시퀀스에 질문, 출력 시퀀스에 답변으로 구성하면 챗봇을 만들 수 있고, 입력 시퀀스에 문장과 출력 시퀀스에 번역문장으로 구성하면 번역기를 만들 수 ...
최근 포스트
딥러닝에서의 ‘학습’이란 무엇일까?
학습이란 어떤 데이터로부터 규칙을 찾는것이라고 할 수 있다. 간단한 예시를 보자 x = [1, 2, 3, 4, 5] y = [13, 23, 33, 43, 53] x, y의 데이터가 있다. 사람이라면 x와 y사이의 규칙을 쉽게 찾을 수 있다. x에 10을 곱해서 3을 더하거나, x...
자연어처리-2 RNN언어모델에 대해서 알아보자!
앞에서 NNLM에 대해서 간단하게 살펴보았다. N-gram 언어모델과 NNLM은 고정된 개수의 단어만 입력으로 받을 수 있다는 단점이 있었다. 지금 살펴볼 RNNLM은 timestep이라는 개념이 도입된 RNN으로 언어 모델을 만든 것이다. 예측과정 RNNLM은 기본적으로 ...
순환 신경망(RNN)이란 무엇인가?
RNN(Recurrent Neural Network)은 피드포워드 신경망과 다르게 내부의 메모리를 이용해 입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델이다. 시퀀스란 순서대로 이어진 것을 말한다. 시계열 데이터 같은 경우는 시간의 흐름에 따른 데이터이기 때문에 시퀀스 데이터이고...