Developer GM

4/14 ~4/15일 첫 미니프로젝트가 시작되었다.주제는 스마트폰 센서 데이터로 정적/동적을 구분하는 것이였다.지금까지 배운 내용들을 실제로 하나씩 써보는 시간이였다. EDA 과정에서는 shape, info, head, describe 함수들이 주로 쓰였다.그리고 전처리 과정에서는 스케일링과 인코딩, 그리고 데이터 분할을 하고모델을 선언해서 학습시켰다.동일한 프로세스를 어느정도 해보니 모델링 과정이 어느정도 익숙해진 것 같다.어떤 과정으로 모델링을 진행하며어떤 과정에는 어떤 함수를 주로 쓰는지 조금 이해가 되었다.확실히 직접 실습을 해봐야 익숙해지는 것 같다.4/16일부터 4/17일 까지는 AICE 자격증 대비 프로젝트를 진행하였다.AICE 자격증4/14 ~4/15일 첫 미니프로젝트가 시작되었다. 모든 ..

[KT] AIVLE SCHOOL 14 ~ 17일차 첫번 째 미니 프로젝트는 스마트폰 센서 데이터 기반 모션 분류를 진행하였다. 가속도 센서와 자이로스코프 센서로 각각 선형가속도와 각속도를 측정한 데이터라고 한다..무슨 말인지는 잘 모르겠지만 다행히 데이터가 기본적으로 어느정도 가공되어있었다.하나의 센서에서 수집된 신호를 가공방법을 달리하여 집계한 데이터였고, 센서별, 집계별, 축 별로 데이터가 나누어져있어서변수가 561개나 있었다..!! 오전에는 변수의 중요도를 구해보고, 탐색적 분석을 진행해보는 과제였다. 그래서 첫번째로 많은 Feature가 있기 때문에 변수 중요도를 구하고, 중요하거나 중요하지 않은 특징들을 골라서탐색적 분석(EDA)를 진행하였다. 데이터 확인해보기shape 함수로 행, 열 개수 확..

9일차이진 분류와 다중 분류 모델링에 대해서 배웠다.분류 모델링에서는 회귀 모델링에서와 다르게 출력층에도 활성화함수가 있다.이진 분류는 결과를 0과 1로 변환하기 위한 시그모이드,다중 분류는 각 범주에 대한 결과를범주별 확률 값으로 변환하기 위한 소프트맥스 함수를 사용한다.그리고 이진 분류의 목적 함수는 Binary Cross Entropy,다중 분류의 목적 함수 Cross Entropy이다.그리고 다중 분류의 출력 층 노드 수는 범주의 개수와 같다.라는 것이 중요하다 ! Epoch와 learning rate를 조절해가며 모델의 성능을 조절할 수 있다..! 10일차딥러닝을 마무리하며마지막으로 모델의 성능을 최적화하고과적합을 방지할 수 있는 기법인Dropout과 Early Stopping에 대해서 배웠다...

4일차MatplotLib과 Seaborn 라이브러리로시각화하는 방법을 배웠다.다양한 그래프와매개변수들로 그래프를 그리는 방법들을 배웠다.5일차수치형 변수와 범주형 변수의 분석 방법에 대해서 배웠다.수치형 변수는 평균과 중앙값, 최빈값 등의대푯값을 통해 분석을 하고, Histogram과 Density Plot, Box Plot 으로시각화하여 분석할 수 있다. 범주형 변수는 Pandas의 value_counts()메서드로 범줏값의 개수를 확인할 수 있고,Bar Plot과 Pie 차트를 통해 시각화하여 분석할 수 있다. 그리고 수치형 변수와 수치형 변수의 분석 방법도 배웠다.수치형 변수 끼리는 산점도와 상관분석을통해서 분석할 수 있다. 가설과 가설검정에 대해서도배웠다.6일차범주형->수치형의 분석은barplot..

KT에서 진행하는 AIVLE  SCHOOL에 합격하여 7기로 입교하게 되었다.6기에도 지원을 했었었는데, ICT 학점연계 프로젝트 인턴십으로'데이터에듀' 라는 회사에서 인턴으로 일을 하게 되었어서인턴이 끝나고 다시 7기로 입교하게 되었다..! 3.11(화) 14:00 ~ 3.24(월) 17:00 기간에는교육 시작 전 사전학습을 진행했다.이 기간 외에는 수강을 할 수가 없어서 블로그에 정리를 해놓았다.정리한다고는 했는데, 분량이 많아서 제대로 이해를 다 하진 못한 것 같다..그래도 정리한 내용을 복습을 한다면.. 괜찮지 않을까 싶다. 3월 25일 부터 교육이 시작되었고 1주차의 일정은 위와 같다!!후기에는 강의 시작날인 26일부터 1일차로 표현하였다. OT교육 첫 날에는 Opening Day라고 입교식, ..

데이터 시각화직관적으로 정보를 확인하는 효과적인 방법적절한 그래프 유형 선택과 옵션 활용이 중요데이터 시각화 이유Visual ExplanationText ExplanationA 대학은 경영학과 신입생 평균 학점 4.3, 정치학 2.4, 물리학 2점을 기록한 가운데, B대학은 각각 2.5, 4.4, 2점을 기록했다.Anscombe 예제 : 기술 통계 vs 데이터 시각화통계학자 Anscombe이 시각화의 중요성을 주장하며 제시한 예시 - 기술 통계량에만 의존하면 안되는 이유그래프 구성 요소그래프를 구성하는 요소와 방식을 안다면 다양한 활용 가능figure: 도화지(그림 전체)axes: 도화지 내 plot이 그려지는 공간axis: plot의 축 -> y축, x축파이썬 시각화 라이브러리대표적으로 matplotl..

시계열 데이터순차적인 시간의 흐름에 따라 기록된 데이터를 의미Y = T + S + C + R 또는 Y = T x S x C x R (or Y = T + S + R)추세(Trend)시간의 흐름에 따라 점진적이고 지속적인 변화계절성(Seasonality)특정 주기에 따라 일정한 패턴을 갖는 변화싸이클(Cycle)경제 또는 사회적 요인에 의한 변화(예: 경기 변동)이며, 일정 주기가 없고 장기적인 변화잔차(Residuals)설명할 수 없는 변화 시계열 분석의 특징현재 시점의 시계열 데이터를 분석하는 데 이전 시간의 값이 현재에도 영향을 끼칠 것이라는 가정하에 회귀 분석을 진행시계열이 전 시점의 영향을 받는 것이 시계열 데이터 분석 시 고려해야할 가장 큰 사항 중 하나이며 이것을 자기상관 또는 Autocorre..

단순회귀분석한 개의 종속변수(Y)와 한 개의 독립변수(X) 사이의 관계를 분석하는 통계 기법Y와 X간의 관계를 일차식(선형)에 대입하여, X의 변화에 따라 Y가 얼마나 변하는지를 예측할 때 사용ex) y = aX + b 라는 식을 통해 X의 변화가 Y에 어떠한 변화를 미치는지 예측할 때 사용회귀분석 기본 가정회귀분석은 인과관계를 규명할 수 있는 분석, 예측 통계 방법인 만큼 강력한 가정이 필요선형성독립변수(X)와 종속변수(Y)는 선형관계이다.독립성종속변수 Y는 서로 독립이어야 한다.(한 관측 값이 다른 관측치에 의해 영향을 받으면 안됨)등분산성독립변수 X의 값에 관계없이 종속변수 Y의 분산은 일정하다.정규성독립변수 X의 고정된 어떤 값에 대하여 종속변수 Y는 정규분포를 따른다.최소 제곱법실제 데이터 값:..

상관관계상관관계는 변수 간의 상호 관련성을 의미하며, 관계성의 정도는 통계적 또는 시각적인 방법으로 파악 가능산점도상관계수선형관계를 측정하는 피어슨 상관계수비선형 순위 상관관계를 측정하는 스피어맨 상관계수산점도(SCatter Plot)산점도를 이용하면 상관관계를 쉽게 파악 가능두 변수를 가로, 세로축에 두어 데이터 포인트를 그리는 방법두 연속형 데이터의 관계 파악에 용의특정 관계를 갖고 있는 데이터는 한 눈에 파악 가능극단치 혹은 이상치 파악 가능한 변수의 값이 증가할 때, 다른 변수의 값도 같이 증가한다면 두 변수는 양의 상관관계한 변수는 증가하고 다른 변수는 감소한다면 두 변수는 음의 상관관계상관계수두 변수 간의 함께 변화하는 경향을 객관적으로 측정할 수 있는 척도값이 [-1, 1] 범위 안에 존재피..

가설 검정이란?모집단에 어떤 가설을 설정한 뒤, 통계 기법을 이용한 가설의 채택 여부를 확률적으로 판정하는 통계적 추론의 방법가설 예시정치 분야 : 주류세 인상은 음주운절율을 줄였다.제조 분야 : 공정 불량률은 5%가 넘는다.마케팅 분야 : 마케팅 방법에 따른 매출의 변화가 있다.의약 분야 : 신약은 효과가 있다.귀무가설 vs 대립가설귀무가설"비교하는 값과 차이가 없다."기존 이론 가설H0 : Null Hypothesis대립가설"비교하는 값과 차이가 있다."연구자 목적, 주장H1 : Alternative Hypothesis예시[법원 판결] 귀무가설 : 무죄 / 대립가설 : 유죄[암 진단] 귀무가설 : 정상 / 대립가설 : 암가설 검정 통계적 오류제 1종 오류와 제 2종 오류가 존재예시 무죄이지만 유죄라고..