Developer GM

[KT] AIVLE SCHOOL 13일차 RNN LM순환 신경망(RNN)을 활용하여 언어 모델(Language Model)을 구축하는 방법RNN을 활용한 언어 모델의 개념기존의 N-gram 모델이나 통계 기반 언어 모델은 문맥 정보를 한정된 개수의 단어(e.g. 3-gram, 5-gram)까지만 고려하는 한계시퀀스 데이터를 다룰 수 있는 구조(RNN) : 문맥(Context)을 길게 유지하며 언어 모델링 수행입력된 단어들의 연속적인 흐름을 따라 현재까지의 문맥을 기억하여 다음 단어의 확률을 동적으로 계산RNN LM 모델링 순서전체 프로세스준비된 데이터셋데이터 전처리토크나이즈Vocab 생성정수 인덱스 반환패딩모델링임베딩모델링학습을 위한 데이터 전처리 순서토크나이즈데이터 셋의 텍스트 문장을 단어 또는 서브 ..

[KT] AIVLE SCHOOL 13일차 Sequential Data : (시간) 순서가 있는 데이터RNN(Recurrent Neural Networks)RNN의 핵심은 '기억' : 이전까지의 정보를 순환(Loop) 하면서 계속 유지RNN은 일반적인 신경망과 달리 출력을 다시 입력으로 넣어주는 구조한 문장이 들어오는 과정예를 들어 "나는 밥을 많이 먹었다" 라는 문장을 RNN에 넣는다고 가정"나는" --> 첫 번째 RNN 셀로 입력RNN은 "나는"을 처리하고 출력(hidden state)을 생성이 출력을 다음 단어 "밥을"과 함께 다음 RNN 셀로 전달다시 "밥을"을 처리하고 새로운 출력(hidden state) 생성이런 식으로 마지막 단어까지 반복핵심 개념Hidden State (숨겨진 상태)현재까지의..