Developer GM

[KT] AIVLE SCHOOL 18일차 Fine-tuning사전 훈련된(pre-trained) 모델을 특정 작업이나 데이터셋에 맞게 미세 조정(fine-tuning)하는 과정미세 조정 : 파라미터 조정 (update)Fine-tuning 수행 절차사전 훈련된 모델 선택NLP : BERT, GPT, RoBERTa 등컴퓨터 비전 : ResNet, VGGNet, EfficientNet 등데이터 준비특정 작업에 사용할 데이터 준비사전 훈련된 모델과 호환되는 형태로 전처리NLP : 텍스트 토큰화컴퓨터 비전 : 이미지를 적절한 크기로 리사이징모델 수정대부분의 경우 사전 훈련된 모델의 출력 레이어를 특정 작업에 맞게 수정텍스트 분류 작업 : 출력 레이어의 뉴런 수를 분류하려는 클래스의 수와 일치시킴추가 학습준비된 ..

[KT] AIVLE SCHOOL 18일차 Transformer 사용실제 업무에서는 간단히 transformer 라이브러리를 불러와서 사용pipeline 함수transformer 기반 LLM 모델을 손쉽게 사용할 수 있게 해주는 함수복잡한 언어 모델 처리(NLP) 과정을 감추고, 다음 과정이 물 흐르듯이 흘러가게 해 줌사용자 입력(text)을 받아 Text를 모델이 이해 가능한 형태로 전처리모델에 전달, 예측예측 결과를 사람이 이해 가능한 형태로 후처리 후 returnfrom transformer import pipelineclassifier = pipeline(task = "sentiment-analysis", model = 'bert-base-multilingual-cased')Transformer ..

[KT] AIVLE SCHOOL 18일차 기존의 NLP : RNN 기반오랫동안 언어모델을 위한 주요한 접근 방식단점 : 병렬 처리가 어려움, 장기 의존성 문제, 확장성이 제한됨RNN 기반 Seq2Seq 모델기존 RNN LM기존 LM은 다음 단어만 예측, 혹은 분류 문제 풀기RNN 기반 Seq2Seq입력 시퀀스를 출력 시퀀스로 변환 (e.g. 기계번역)인코더(Encoder) : 입력을 벡터로 변환 (문장의 의미를 압축)디코더(Decoder) : 벡터를 기반으로 새로운 시퀀스를 생성문제점병렬 처리 문제기존 RNN(LSTM) 모델들은 데이터를 순차적으로 처리 -> 병렬화가 어려움문장의 앞에서부터 뒤까지 순차적으로 처리하기에 처리 속도가 느림인코더의 마지막 은닉상태(context vector)를 디코더(deco..