텐서플로우 Embedding Layer
정의
최근 포스트
딥러닝에서의 ‘학습’이란 무엇일까?
학습이란 어떤 데이터로부터 규칙을 찾는것이라고 할 수 있다. 간단한 예시를 보자 x = [1, 2, 3, 4, 5] y = [13, 23, 33, 43, 53] x, y의 데이터가 있다. 사람이라면 x와 y사이의 규칙을 쉽게 찾을 수 있다. x에 10을 곱해서 3을 더하거나, x...
자연어처리-2 RNN언어모델에 대해서 알아보자!
앞에서 NNLM에 대해서 간단하게 살펴보았다. N-gram 언어모델과 NNLM은 고정된 개수의 단어만 입력으로 받을 수 있다는 단점이 있었다. 지금 살펴볼 RNNLM은 timestep이라는 개념이 도입된 RNN으로 언어 모델을 만든 것이다. 예측과정 RNNLM은 기본적으로 ...
순환 신경망(RNN)이란 무엇인가?
RNN(Recurrent Neural Network)은 피드포워드 신경망과 다르게 내부의 메모리를 이용해 입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델이다. 시퀀스란 순서대로 이어진 것을 말한다. 시계열 데이터 같은 경우는 시간의 흐름에 따른 데이터이기 때문에 시퀀스 데이터이고...
자연어처리-1 피드 포워드 신경망 언어모델(NNLM)
피드 포워드 신경망 순방향 신경망이라고도 하며, 일반적인 신경망을 피드 포워드 신경망이라고 한다. 딥러닝에서의 피드 포워드란, 입력층으로 데이터가 들어오고, 1개 이상의 은닉층을 거쳐서 일련의 가중치를 통해 출력층으로 직접 feed되는 것을 말한다. N-gram 언어모델 피드 ...