Developer GM

Fine-tuning

[KT] AIVLE SCHOOL 18일차 Fine-tuning사전 훈련된(pre-trained) 모델을 특정 작업이나 데이터셋에 맞게 미세 조정(fine-tuning)하는 과정미세 조정 : 파라미터 조정 (update)Fine-tuning 수행 절차사전 훈련된 모델 선택NLP : BERT, GPT, RoBERTa 등컴퓨터 비전 : ResNet, VGGNet, EfficientNet 등데이터 준비특정 작업에 사용할 데이터 준비사전 훈련된 모델과 호환되는 형태로 전처리NLP : 텍스트 토큰화컴퓨터 비전 : 이미지를 적절한 크기로 리사이징모델 수정대부분의 경우 사전 훈련된 모델의 출력 레이어를 특정 작업에 맞게 수정텍스트 분류 작업 : 출력 레이어의 뉴런 수를 분류하려는 클래스의 수와 일치시킴추가 학습준비된 ..

[KT] AIVLE SCHOOL 18일차 Transformer 사용실제 업무에서는 간단히 transformer 라이브러리를 불러와서 사용pipeline 함수transformer 기반 LLM 모델을 손쉽게 사용할 수 있게 해주는 함수복잡한 언어 모델 처리(NLP) 과정을 감추고, 다음 과정이 물 흐르듯이 흘러가게 해 줌사용자 입력(text)을 받아 Text를 모델이 이해 가능한 형태로 전처리모델에 전달, 예측예측 결과를 사람이 이해 가능한 형태로 후처리 후 returnfrom transformer import pipelineclassifier = pipeline(task = "sentiment-analysis", model = 'bert-base-multilingual-cased')Transformer ..

[KT] AIVLE SCHOOL 18일차 기존의 NLP : RNN 기반오랫동안 언어모델을 위한 주요한 접근 방식단점 : 병렬 처리가 어려움, 장기 의존성 문제, 확장성이 제한됨RNN 기반 Seq2Seq 모델기존 RNN LM기존 LM은 다음 단어만 예측, 혹은 분류 문제 풀기RNN 기반 Seq2Seq입력 시퀀스를 출력 시퀀스로 변환 (e.g. 기계번역)인코더(Encoder) : 입력을 벡터로 변환 (문장의 의미를 압축)디코더(Decoder) : 벡터를 기반으로 새로운 시퀀스를 생성문제점병렬 처리 문제기존 RNN(LSTM) 모델들은 데이터를 순차적으로 처리 -> 병렬화가 어려움문장의 앞에서부터 뒤까지 순차적으로 처리하기에 처리 속도가 느림인코더의 마지막 은닉상태(context vector)를 디코더(deco..

[KT] AIVLE SCHOOL 14 ~ 17일차 첫번 째 미니 프로젝트는 스마트폰 센서 데이터 기반 모션 분류를 진행하였다. 가속도 센서와 자이로스코프 센서로 각각 선형가속도와 각속도를 측정한 데이터라고 한다..무슨 말인지는 잘 모르겠지만 다행히 데이터가 기본적으로 어느정도 가공되어있었다.하나의 센서에서 수집된 신호를 가공방법을 달리하여 집계한 데이터였고, 센서별, 집계별, 축 별로 데이터가 나누어져있어서변수가 561개나 있었다..!! 오전에는 변수의 중요도를 구해보고, 탐색적 분석을 진행해보는 과제였다. 그래서 첫번째로 많은 Feature가 있기 때문에 변수 중요도를 구하고, 중요하거나 중요하지 않은 특징들을 골라서탐색적 분석(EDA)를 진행하였다. 데이터 확인해보기shape 함수로 행, 열 개수 확..

9일차이진 분류와 다중 분류 모델링에 대해서 배웠다.분류 모델링에서는 회귀 모델링에서와 다르게 출력층에도 활성화함수가 있다.이진 분류는 결과를 0과 1로 변환하기 위한 시그모이드,다중 분류는 각 범주에 대한 결과를범주별 확률 값으로 변환하기 위한 소프트맥스 함수를 사용한다.그리고 이진 분류의 목적 함수는 Binary Cross Entropy,다중 분류의 목적 함수 Cross Entropy이다.그리고 다중 분류의 출력 층 노드 수는 범주의 개수와 같다.라는 것이 중요하다 ! Epoch와 learning rate를 조절해가며 모델의 성능을 조절할 수 있다..! 10일차딥러닝을 마무리하며마지막으로 모델의 성능을 최적화하고과적합을 방지할 수 있는 기법인Dropout과 Early Stopping에 대해서 배웠다...

[KT] AIVLE SCHOOL 13일차 RNN LM순환 신경망(RNN)을 활용하여 언어 모델(Language Model)을 구축하는 방법RNN을 활용한 언어 모델의 개념기존의 N-gram 모델이나 통계 기반 언어 모델은 문맥 정보를 한정된 개수의 단어(e.g. 3-gram, 5-gram)까지만 고려하는 한계시퀀스 데이터를 다룰 수 있는 구조(RNN) : 문맥(Context)을 길게 유지하며 언어 모델링 수행입력된 단어들의 연속적인 흐름을 따라 현재까지의 문맥을 기억하여 다음 단어의 확률을 동적으로 계산RNN LM 모델링 순서전체 프로세스준비된 데이터셋데이터 전처리토크나이즈Vocab 생성정수 인덱스 반환패딩모델링임베딩모델링학습을 위한 데이터 전처리 순서토크나이즈데이터 셋의 텍스트 문장을 단어 또는 서브 ..

[KT] AIVLE SCHOOL 13일차 Sequential Data : (시간) 순서가 있는 데이터RNN(Recurrent Neural Networks)RNN의 핵심은 '기억' : 이전까지의 정보를 순환(Loop) 하면서 계속 유지RNN은 일반적인 신경망과 달리 출력을 다시 입력으로 넣어주는 구조한 문장이 들어오는 과정예를 들어 "나는 밥을 많이 먹었다" 라는 문장을 RNN에 넣는다고 가정"나는" --> 첫 번째 RNN 셀로 입력RNN은 "나는"을 처리하고 출력(hidden state)을 생성이 출력을 다음 단어 "밥을"과 함께 다음 RNN 셀로 전달다시 "밥을"을 처리하고 새로운 출력(hidden state) 생성이런 식으로 마지막 단어까지 반복핵심 개념Hidden State (숨겨진 상태)현재까지의..

[KT] AIVLE SCHOOL 12일차 "비슷한 맥락(context)에서 사용되는 단어들은 비슷한 의미(meaning)를 가진다." - zellig Harris 언어학자, 기호학자 (젤리그 해리스, 1954)- 벡터(Vector)정의좁은 정의 : 크기와 방향을 가진 값(물리 량) 넓은 정의 : 벡터 공간(Vector space)에서 정의된 원소(element)데이터 관점에서 벡터여러 개의 숫자(feature)가 모여서 하나의 개념을 표현하는 단위e.g. 어떤 회원의 키가 175cm, 몸무게가 70kg, 나이느 25세회원의 특징을 나타내는 feature들의 단위(벡터) : [175, 70, 25]특징 공간(Feature Space)이렇게 feature를 표현한 공간을 특징 공간이라고 부름특징 공간은 벡터..

[KT] AIVLE SCHOOL 12일차 토큰과 토큰화토큰(token)문장의 가장 작은 단위를 토큰(token)이라 함. 문장은 여러 개의 토큰으로 구성토큰의 또 다른 이름들 : 단어(word), 형태소(morpheme), 서브 워드(sub word)별도의 언급이 없다면 용어 의미 차이에 크게 신경 쓰지 않아도 됨토큰화(tokenize)문장을 토큰 시퀀스로 나누는 과정형태소 분석토큰화보다 더 깊은 분석을 수행단어를 구성하는 형태소(어근, 접사, 조사 등)를 식별하고 분류구분토큰화형태소 분석개념문장을 일정한 단위(단어, 형태소 등)로 나누는 것단어를 형태소 단위로 세분화하고 문법적 역할을 분석한국어["나는", "학교에", "간다"]"나는/NP + 는/JX", "학교/NNG" + 에/JKN", "가/VV +..

[KT] AIVLE SCHOOL 12일차 자연어 처리컴퓨터가 인간의 언어를 이해, 생성, 조작할 수 있도록 해주는 인공 지능(AI)의 한 분야텍스트(비정형 데이터)를 정형화된 데이터로 바꾸는 과정컴퓨터가 인식하는 데이터는 숫자주요 응용 분야기계 번역(Machine Translation, MT) e.g. Google 번역, Papago챗봇 및 음성 비서(Chatbots & Voice Assistants) e.g. ChatGPT, Siri, Google Assistant감성 분석(Sentiment Analysis) e.g. 고객 리뷰 분석, SNS 감정 분석정보 검색 및 추천 시스템(Information Retrieval & Recommendation) e.g. 검색 엔진(Google), 유튜브/넷플릭스 추..