다시바람

[JavaScript] finally 문

공기반 코딩반 — Mon, 12 Feb 2024 12:17:46 +0900

Finally문

try {
  // 실행할 코드
} catch (err) {
  // 에러가 발생했을 때 실행할 코드
} finally {
  // 항상 실행할 코드
}

Finally문에서 에러를 가진다면?

→ try catch문을 중첩 사용

try {
  try {
    // 실행할 코드
  } catch (err) {
    // 에러가 발생했을 때 실행할 코드
  } finally {
    // 항상 실행할 코드
  }
} catch (err) {
  // finally문에서 에러가 발생했을 때 실행할 코드
}

[JavaScript] try catch문

공기반 코딩반 — Sun, 11 Feb 2024 21:30:13 +0900

에러가 발생하는 경우 출력(7번 행)

try {
  console.log('시작');
  
  const test = '테스트';
  console.log(test);
  
  test = 'fasd';
  
  const lang = 'JavaScript';
  console.log(lang);
} catch(err){
  console.log('에러');
  console.error(err);
  console.log(err.name);
  console.log(err.message);
}

에러가 발생하지 않을 때 출력

try {
  console.log('시작');
  
  const test = '테스트';
  console.log(test);
  
  // test = 'fasd';
  
  const lang = 'JavaScript';
  console.log(lang);
} catch(err){
  console.log('에러');
  console.error(err);
  console.log(err.name);
  console.log(err.message);
}

- console.error (에러메소드)

try catch문 장점

- error가 발생해도 다음 코드를 실행할 수 있음 → 안정성

- SyntaxError는 다음코드를 실행할 수는 없음

function printMembers(members){
  try {
    for (const m of members){
      console.log(m);
    }
  } catch(err){
    console.error(err);
    alert(`${err.name}가 발생`)
  }
}

const teamA = ['A', 'B', 'C', 'D'];
printMembers(teamA);

// const test = {name : 'test'};
// printMembers(test);


const teamB = ['E', 'F', 'G', 'H'];
printMembers(teamB);

function printMembers(members){
  try {
    for (const m of members){
      console.log(m);
    }
  } catch(err){
    console.error(err);
    alert(`${err.name}가 발생`)
  }
}

const teamA = ['A', 'B', 'C', 'D'];
printMembers(teamA);

const test = {name : 'test'};
printMembers(test);


const teamB = ['E', 'F', 'G', 'H'];
printMembers(teamB);

- 16행 printMembers()에서 변수 할당 후 값출력 참조 에러 발생

- error이후에 코드도 실행할 수 있음

[JavaScript] 에러 / 에러객체

공기반 코딩반 — Sun, 11 Feb 2024 21:07:22 +0900

에러객체의 종류

1. Reference Error : 존재하지 않는 변수나 함수 참조

2. Type Error : 변수를 함수처럼 사용할 때 - 잘못된 자료형

3. Syntax Error : 문법에 맞지 않는 코드

4. 기타

https://developer.mozilla.org/ko/docs/Web/JavaScript/Reference/Global_Objects/Error

Error - JavaScript | MDN

Error 객체는 런타임 오류가 발생했을 때 던져집니다. Error 객체를 사용자 지정 예외의 기반 객체로 사용할 수도 있습니다. 아래 표준 내장 오류 유형을 참고하세요.

developer.mozilla.org

에러를 만들기

const error = new TypeError('타입에러 발생');
console.log(error.name);  // TypeError
console.log(error.message);  // '타입에러 발생'

에러를 직접발생

const error = new TypeError('타입에러 발생');
throw error;

[DataAnalysis] PCA(Principal Component Analysis)

공기반 코딩반 — Wed, 7 Feb 2024 01:40:44 +0900

PCA(Principal Component Analysis)

: 여러 차원들의 특징을 가장 잘 설명하는 차원을 이용해 차원을 축소

1. 데이터 표준화 및 원점 이동

1) 데이터 단위 통일(m, mm / g, kg)

2) 데이터를 표준화(중심=원점을 기준으로 함)

2. 주성분 찾기

1) 데이터의 중심(원점)을 지나고 모든 데이터들로부터 수직거리가 가장 가깝게 하는 선

2) 주성분이 2개라면 두 번째 주성분 선은 첫 번째 주성분 선에 수직, 모든 데이터들에서 선까지 수직거리가 가장 작은 선 2-1) 주성분 찾는 방법

: 데이터들의 분산이 최대가 되도록 하는 선(수직 거리 짧음)

2-2) 두 번째 주성분 선이 첫 번째 주성분 선에 수직인 이유

: 첫 번째 주성분과 비슷한 정보가 적음

3. 데이터 투영

1) 모든 데이터를 각각의 선에 투영

4. 새로운 축 찾기

1) 주성분 선을 새로운 축으로 함

= 두 개의 주성분 선이 각각 x축, y축이 되게 함.

- 후에 1차원으로 축소도 가능(새로운 x축(PC1))으로 투영

실습

- fit() 메소드 : 데이터를 통해 PCA를 학습

- transform() 메소드 : 학습된 PCA 모델을 바탕으로 데이터를 변환

# 모델 생성
pca = PCA(n_components=2)

pca.fit(scaled_df)  # PCA 학습
scaled_df_pca = pca.transform(scaled_df)  # PC로 데이터 변환
pca_df = pd.DataFrame(scaled_df_pca)  # 데이터프레임으로 변환

pca_df.columns = ['PC1', 'PC2']  # 데이터프레임 컬럼 이름 지정

pca_df.head()

시각화

sns.scatterplot(data=pca_df, x ='PC1', y='PC2')

주성분의 수는 몇개로 해야할까?

- 차원축소에는 Scree plot이 사용
Scree plot은 각 주성분이 전체 데이터에 대해서 갖는 설명력 비율을 시각화한 플롯
- Scree plot은 전체 주성분의 분산 대비 특정 주성분의 분산의 비율을 시각화 한 것

pca = PCA(n_components = 6)
pca.fit(scaled_df)  # PCA 학습
scaled_df_pc = pca.transform(scaled_df)  # PC로 데이터 변환
pca_df = pd.DataFrame(scaled_df_pc)
pca_df.columns = ['PC1', 'PC2', 'PC3', 'PC4', 'PC5', 'PC6']

pca_df.head()

→ 주성분의 분산 비율을 계산하기 위해서는 scikit-learn의 PCA에 있는 explained_variance_ratio_ 속성을 활용

import numpy as np
import matplotlib.pyplot as plt

# PCA 개수
num_components = len(pca.explained_variance_ratio_)

x = np.arange(num_components)
var = pca.explained_variance_ratio_ 

plt.bar(x, var) # Bar plot 그리기

plt.xlabel('PC')
plt.ylabel('Variance_Ratio')
plt.title('Scree plot')

plt.show()

주성분의 누적 분산 비율

cum_var = np.cumsum(var)   # 누적 분산비율 구하기
cum_vars = pd.DataFrame({'cum_vars': cum_var}, index = pca_df.columns)

cum_vars

- 누적분산비율이 PC_N이 70%이상 되면 해당 개수가 주성분 개수

→ PC4까지로 주성분 결정

[DataAnalysis] 차원축소

공기반 코딩반 — Wed, 7 Feb 2024 01:13:38 +0900

차원이란?

: 변수의 개수

- 데이터의 차원이 높아지면 좀 더 많은 정보를 나타낼 수 있음

- but, 데이터의 차원이 너무 많아지면 분석의 정확도가 떨어지는 경우도 있음

차원축소

1. 차원 선택

: 전체 차원 중 의미 있다고 판단되는 것들만 선택해서 사용

: 변수들 간의 관계를 통해 덜 중요하거나 불필요한 변수를 찾아 데이터에서 빼는 작업

장점

- 사용하기 쉽고 빠르게 적용 가능, 쉽게 해석가능

단점

- 정보손실이 커짐

2. 차원 추출

: 데이터를 가장 잘 설명하는 차원을 새롭게 생성하여 차원을 줄이는 방법

→ 여러 변수의 특징을 종합적으로 잘 나타내는 새로운 변수를 찾아내 변수를 통합

장점

- 필요한 정보를 최대한 보존하기 때문에, 상대적으로 더 나은 성능

단점

- 여러 변수의 특징을 대표하기 위해 만들어진 새로운 변수가 정확하게 무엇을 의미하는 것인지 해석하기 어려움

- 연산량 증가

ex) PCA(Principal Component Analysis)

[DataAnalysis] GMM (Gaussian Mixture Model)

공기반 코딩반 — Sun, 4 Feb 2024 01:01:26 +0900

GMM (Gaussian Mixture Model)

: 특정 데이터의 값이 어떤 분포에 포함될 확률이 더 큰지를 따져서 각 클러스터로 구분하는 게 GMM의 방법론

- 클러스터별로 중심(평균)을 표현하면서 분산의 구조도 함께 띄고 있는 데이터 세트에 효과적

데이터가 원형으로 흩어져 있으면 평균은 있지만 분산이 없는 데이터라고 할 수 있음

→ k-means

데이터가 타원형으로 흩어져 있다면 중심(평균)과 분산의 값을 갖는 형태

→ GMM 모델

특징

특정 분포에 할당된 데이터 수가 적으면 모수 추정이 잘 안됨

정규분포를 따르지 않는 데이터를 다룰 수 없음.

from sklearn.mixture import GaussianMixture
from sklearn.datasets import make_classification
import seaborn as sns
import pandas as pd
%matplotlib inline

# 데이터 생성
X, y = make_classification(n_samples=500, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1, random_state=6)
df = pd.DataFrame(X)

n_components = 2  # 분포 개수
random_state = 123  # 모델 고정

# 여기에 코드를 작성해주세요
model = GaussianMixture(n_components=n_components, random_state=random_state)
model.fit(df)

df['gmm_label'] = model.predict(df)

# 시각화
sns.set(style="darkgrid")
sns.scatterplot(x=df[0], y=df[1], hue=df['gmm_label'], alpha=0.7, s=100)

[DataAnalysis] Kmeans 결과 해석

공기반 코딩반 — Thu, 1 Feb 2024 02:01:16 +0900

Kmeans 장점

- 변수들에 대한 배경지식, 역할, 영향도에 대해 모르더라도 데이터 사이의 거리만 구할 수 있다면 쉽게 사용 가능

- 알고리즘이 비교적 쉬운 수식으로 이루어졌기 때문에 이해와 해석이 용이합니다.

Kmeans 단점

- 데이터의 영향력을 반영하지 못함.

- 최적의 클러스터 개수인 k를 정하는 게 어렵다

- 이상치에 영향을 많이 받음

- 이상치가 포함된 데이터일 경우 클러스터의 중심(Centorid)을 업데이트하는 과정에서 Centroid의 위치가 크게 변동

- 클러스터가 원하지 않는 방식으로 묶일 수 있음

model = KMeans(n_clusters=5, random_state=123)
model.fit(scaled_df)

# 학습 모델 결과 추가
sales_df['label'] = model.predict(scaled_df)

클러스터링 시각화

sns.scatterplot(x= sales_df['total_buy_cnt'], y= sales_df['total_price'], hue= sales_df['label'], s=200, palette='bright')

클러스터링 그룹 정보

pd.DataFrame(sales_df['label'].value_counts())

평균 개당 가격 구하기

groupby_df = sales_df.groupby('label').mean()
groupby_df['price_mean'] = groupby_df['total_price'] / groupby_df['total_buy_cnt']
groupby_df

→ 2번 그룹은 많은 돈을 썼지만 저가 제품을 많이 구매한 것으로 추측

문제점 해결 방안

1. Centeroid 잘 찾는 법

from sklearn.cluster import KMeans
model = KMeans(n_clusters=k, init='k-means++')

- 차원 높으면 성능 떨어지는 단점

[DataAnalysis] Elbow Method

공기반 코딩반 — Thu, 1 Feb 2024 01:54:54 +0900

Elbow Method

: 최적의 클러스터 갯수 찾는 방법

- 클러스터마다 속한 데이터와 Centroid 사이 거리의 합이 작아야 함.

inertia

: 각 클러스터에 속한 데이터들과 Centroid 사이의 거리를 제곱해서 전부 더한 값

Elbow Method 지점 찾기

import pandas as pd
from sklearn.cluster import KMeans
import seaborn as sns
%matplotlib inline

scaled_df = pd.read_csv('data/scaled_data.csv', index_col=[0])
inertias = []



for k in range(1, 16):
    model = KMeans(n_clusters=k, n_init=10, random_state=123)   # 모델 설정
    model.fit(scaled_df)   # 모델 학습
    inertias.append(model.inertia_)   # inertia값 데이터에 더하기


# 시각화
sns.set(style="darkgrid")
sns.lineplot(x=range(1,16), y=inertias, marker='o')

[DataAnalysis] Clustering

공기반 코딩반 — Wed, 31 Jan 2024 15:44:34 +0900

import pandas as pd

# 판다스 출력 결과를 소수점 둘째 자리 까지로 제한
pd.options.display.float_format = '{:,.2f}'.format

sales_df = pd.read_csv('data/sales_data.csv', index_col=['customer_id'])

sales_df

import seaborn as sns

sns.set(style="darkgrid",
        rc={'figure.figsize':(16,9)})

# 데이터 시각화
sns.scatterplot(x=sales_df['total_buy_cnt'], y=sales_df['total_price'], s=200)

이상점 제거

outlier_idx_cust_df = get_outlier_mask(sales_df, weight=1.5)

# 아웃라이어 제거한 데이터 프레임만 추가
sales_df = sales_df[~outlier_idx_cust_df]

# 아웃라이어 제거한 데이터프레임 시각화
sns.scatterplot(x=sales_df['total_buy_cnt'], y=sales_df['total_price'], s=200)

데이터 표준화

df_mean = sales_df.mean()  # 각 컬럼의 평균값
df_std = sales_df.std()  # 각 컬럼의 표준편차

scaled_df = (sales_df - df_mean)/df_std  # 컬럼별 표준화 진행 

scaled_df.columns = ['total_buy_cnt', 'total_price']

# 인덱스 설정
scaled_df.index = sales_df.index 

scaled_df

K-Means

from sklearn.cluster import KMeans

# k-means(k=2)
model = KMeans(n_clusters=2, n_init=10, random_state=123)

- 문제 해결

# 1. - AttributeError: 'NoneType' object has no attribute 'split' 해결
# https://velog.io/@seonydg/scikit-learncluster-KMeans-Nonetype-object-has-no-attribute-split-%EC%98%A4%EB%A5%98

- k-means model 학습

# 모델 학습
model.fit(scaled_df)

# 2. - when there are less chunks than available threads. You can avoid it by setting the environment variable OMP_NUM_THREADS=1. warnings.warn(
import os
os.environ["OMP_NUM_THREADS"] = '1'

# label 컬럼 생성
scaled_df['label'] = model.predict(scaled_df)  # 모델 학습 = 클러스터  라벨링 

scaled_df

## 라벨링 된 데이터를 기준으로 클러스터를 구분해 시각화 해보고, 거기에 Centroid도 함께 표시해 보겠습니다(Centroid는 model.cluster_centers_로 값을 받아옵니다).
# 각 군집의 중심점
centers = model.cluster_centers_

sns.scatterplot(x=scaled_df['total_buy_cnt'], y=scaled_df['total_price'], hue=scaled_df['label'], s=200, palette='bright')
sns.scatterplot(x=centers[:,0], y=centers[:,1], color='black', alpha=0.8, s=400)

scaled_df 가져와 KMeans 활용

import pandas as pd
from sklearn.cluster import KMeans

scaled_df = pd.read_csv('data/scaled_data.csv', index_col=[0])

# 여기에 코드를 작성하세요
model = KMeans(n_clusters=4, n_init=10, random_state = 123)

# model에 scaled_df를 학습시키는 코드를 작성하세요
# 모델 학습
model.fit(scaled_df)


# 여기에 코드를 작성하세요
scaled_df['label'] = model.predict(scaled_df)
scaled_df['label'].value_counts()

[Pandas] 파이 차트

공기반 코딩반 — Tue, 23 Jan 2024 17:01:03 +0900

Adobe 회사의 직군 분포 확인

- 비율 표시 : autopct

%matplotlib inline
import pandas as pd

df = pd.read_csv('data/silicon_valley_details.csv')


Adobe_df = df.loc[(df['company'] == 'Adobe') & (df['count'] > 0) & (df['job_category'] != 'Previous_totals') & (df['job_category'] != 'Totals')]

Adobe_df = Adobe_df.groupby(by='job_category', sort=False).sum()
Adobe_df.plot(y='count', kind='pie', autopct='%.1f%%')

[Pandas] Data Merge

공기반 코딩반 — Mon, 22 Jan 2024 04:56:07 +0900

가격데이터, 수량데이터 가져오기

vegetable_price.csv

0.00MB

vegetable_quantity.csv

0.00MB

import pandas as pd
%matplotlib inline

price_df = pd.read_csv('./data/vegetable_price.csv')
quantity_df = pd.read_csv('./data/vegetable_quantity.csv')

price_df

quantity_df

Inner Join (Product 컬럼 기준으로 데이터 합치기)

pd.merge(price_df, quantity_df, on='Product')

- Product 컬럼에서 공통적으로 가지고 있는 값만 출력

Left Outer Join

pd.merge(price_df, quantity_df, on='Product', how='left')

- price_df 에 있는 column 값들은 출력

- quantity_df와 겹치는 값이 없는 column 값들은 NaN

Right Outer Join

pd.merge(price_df, quantity_df, on='Product', how='right')

- quantity_df 에 있는 모든 column 값들은 출력

- price_df 와 겹치는 값이 없는 column 값들은 NaN

Full Outer Join

pd.merge(price_df, quantity_df, on='Product', how='outer')

- price_df , quantity_df 에 있는 모든 column 값들은 출력

- 서로 겹치는 값이 없는 column 값들은 NaN

[Pandas] groupby 카테고라이징

공기반 코딩반 — Mon, 22 Jan 2024 04:23:47 +0900

import pandas as pd

df = pd.read_csv('data/occupations.csv')

occ_groups = df.groupby('occupation')
# type(age_groupsBy)
mean_occ_groups = occ_groups.mean(numeric_only=True)
mean_occ_groups.sort_values('age')

직업별 여성 비율 높은 순서 구하기

import pandas as pd

df = pd.read_csv('data/occupations.csv')

# 여기에 코드를 작성하세요
# df.head()

occ_group = df.groupby('occupation')
df_male = df.loc[df['gender']=='M']
male_group = df_male.groupby('occupation')
# print(male_group.count())

df_female = df.loc[df['gender']=='F']
female_group = df_female.groupby('occupation')
# print(female_group.count())

count_occ = occ_group.count()

female_ratio_occ_by_gen = female_group.count() / count_occ
female_ratio_occ_by_gen.fillna(0, inplace=True)
female_ratio_occ_by_gen['gender'].sort_values(ascending=False)

[Pandas] 문자열 필터링

공기반 코딩반 — Tue, 16 Jan 2024 02:52:44 +0900

데이터 컬럼 출력

df['Genre'].unique()

문자열 포함 데이터 출력

df[df['Genre'].str.contains('Blues')]

특정 문자열로 시작하는 데이터 출력

df[df['Genre'].str.startswith('Blues')]

새로운 열에 값 넣기

df['Contains Blue'] = df[df['Genre'].str.contains('Blues')]

문자열 쪼개기

address = df['소재도로명주소'].str.split(n=1, expand=True)

df['관할구역'] = address[0]

import pandas as pd

df = pd.read_csv('data/museum_2.csv')

phone_number = df['운영기관전화번호'].str.split(pat='-', n=2, expand=True)
df['지역번호'] = phone_number[0]

df

카테고리 분류

데이터 불러오기

df = pd.read_csv('./data/laptops.csv')
df.head()

국가 브랜드 분류

# 카테고리 분류
brand_nation = {
    'Dell' : 'U.S',
    'Apple' : 'U.S',
    'Acer' : 'U.S',
    'HP' : 'U.S',
    'Lenovo' : 'China',
    'Alienware' : 'U.S',
    'Microsoft' : 'U.S',
    'Asus' : 'Taiwan'
}

새로운 컬럼에 mapping값 넣기

df['brand_nation'] = df['brand'].map(brand_nation)
# brand_nation의 왼쪽 값들을 오른쪽 값들로 변경
df.head(100)

[Seaborn] EDA

공기반 코딩반 — Tue, 9 Jan 2024 12:14:14 +0900

EDA(Exploratory Data Analysis)

: 주어진 데이터를 다양한 관점에서 탐색하며 인사이트를 도출

- row의 의미

- column의 분포

- 여러 column간 연관성

기본정보 데이터 불러오기

import pandas as pd
import seaborn as sns
%matplotlib inline

df = pd.read_csv('./data/young_survey.csv')
df.head()

basic_info = df.iloc[:, 140:]  # 마지막 7개 column
basic_info.head()

- 성별 / 우세 손 / 학벌 column 요소별 갯수

basic_info['Gender'].value_counts()

basic_info['Handedness'].value_counts()

basic_info['Education'].value_counts()

- 성별 and 나이 and 우세손 관계

sns.violinplot(data=basic_info, x='Gender', y='Age', hue='Handedness')

- 성별 간 키 몸무게 분포

sns.jointplot(data=basic_info, x='Height', y='Weight', hue='Gender')

음악 관련 데이터 불러오기

music_df = df.iloc[:, :19]
music_df.head()

- 음악 관련 히트맵

sns.heatmap(music_df.corr())

- 나이와 직접적으로 연관있는 column 상관계수

df.corr(numeric_only=True)['Age'].sort_values(ascending=False)

- 일찍 일어나는 사람이 좋아하는 음악 장르

early_waker = df['Getting up'] == 1
df.iloc[:,:19][early_waker].corr(numeric_only=True)['Music'].sort_values(ascending=False)

※ corr() 사용할 때 에러가 생기는 경우

→ numeric_only=True를 사용

Cluster Analysis

: 데이터를 몇 가지 부류로 분류

- 관심사 데이터 출력

interests = df.loc[:, 'History':'Pets']
interests.head()

- 역사와 관련된 관심사들의 상관계수

corr = interests.corr()
corr["History"].sort_values(ascending=False)

- clustermap으로 그리기

sns.clustermap(corr)

[Seaborn] LM Plot, Cat Plot

공기반 코딩반 — Mon, 8 Jan 2024 00:34:58 +0900

LM (Linear Model)

sns.lmplot(data=body_df, x='Height', y='Weight' )

※ 만약 그래프가 안 뜬다면??

해결 1)

!pip install --upgrade --ignore-installed pip setuptools

: 패키지 버전 수정

해결 2) 패키지 버전 수정

!pip install clyent==1.2.2 
!pip install PyYAML==6.0.1

해결 3) pip 버전 수정

!pip install -U pip

Cat Plot

데이터 가져오기

import pandas as pd
import seaborn as sns

laptops_df = pd.read_csv('./data/laptops.csv')
laptops_df.head()

- OS 종류 출력

laptops_df['os'].unique()

- 어떤 os가 비싸냐?

sns.catplot(data=laptops_df, x='os', y='price', kind='box')
# mac이 제일 비싸네?

strip 그래프

sns.catplot(data=laptops_df, x='os', y='price', kind='strip')

CPU에 따라 OS 별 가격 데이터 출력

- cpu 종류 출력

laptops_df['processor_brand'].unique()

sns.catplot(data=laptops_df, x='os', y='price', kind='strip', hue='processor_brand')
# hue에 값에 따라 색깔 다르게 출력

점이 많이 찍혀 데이터가 잘 보이지 않는다면?

# 점이 많이 찍인 문제점 해결
sns.catplot(data=laptops_df, x='os', y='price', kind='swarm', hue='processor_brand')

[Seaborn] KDE

공기반 코딩반 — Fri, 5 Jan 2024 16:40:36 +0900

Seaborn

: Statistical Data Visualization

확률밀도함수 PDF (Probability Desity Function)

: 데이터 셋의 분포를 나타냄

: 특정 구간에서의 확률을 나타냄

선의 확률은 0

키가 170일 확률 = 0

KDE(Kernel Density Estimation)

: 우리가 갖고 있는 데이터는 굴곡이 많은 데이터임

: KDE를 사용해 굴곡 많은 데이터를 추측을 통해 진짜 분포에 가깝게 부드러운 곡선으로 바꿀 수 있음

키 몸무게 데이터 가져오기

body_df = pd.read_csv('./data/body.csv', index_col=0)
body_df.head()

데이터 정렬

body_df['Height'].value_counts().sort_index()

그래프 그리기

body_df['Height'].value_counts().sort_index().plot()

Seaborn KDE 그래프

sns.kdeplot(body_df['Height'], bw=0.05)  # bw = 추측수준 (구간 나누는 갯수)

bw 파라미터 값 조정

sns.kdeplot(body_df['Height'], bw=5)  # bw = 추측수준 (구간 나누는 갯수)

키 몸무게 데이터 가져오기

body_df = pd.read_csv('./data/body.csv', index_col=0)
body_df.head()

히스토그램 그래프

body_df.plot(kind='hist', y='Height',bins=15)

Seaborn distplot

sns.distplot(body_df['Height'], bins=15)

박스플롯

# 박스 플롯
body_df.plot(kind='box', y='Height')

- 위스커 부분 : Q3위/ Q1아래 점

바이올린 플롯

- 시각적 근사함

- 특정 데이터에서 바이올린 모양

- 데칼코마니

- 90º 돌려 확인하면 히스토그램 모양

# 바이올린 플롯 
sns.violinplot(y=body_df['Height'])

Scatter plot

body_df.plot(kind='scatter', x='Height', y='Weight')

등고선 kdeplot

# 등고선
sns.kdeplot(body_df['Height'], body_df['Weight'])

- x축 키 : 가로 간격 / y축 몸무게 : 세로 간격

- 여기서는 가로데이터(Height)는 175cm 부근에 집중적으로(뾰족) 많음

- 세로데이터(Weight)는 65~75 부근까지 비교적 평평하게 많음
- 가파를수록 선끼리 가까워짐

가로데이터(Height)

sns.kdeplot(body_df['Height'])

Height : 뾰족

세로데이터(Weight)

sns.kdeplot(body_df['Weight'])

## 윗부분에서 좀 평평?

[Pandas] 데이터 클리닝

공기반 코딩반 — Fri, 5 Jan 2024 00:28:27 +0900

갖추어야 할 조건

: 완결성 / 유일성 / 통일성 / 정확성

완결성 (Completeness)

: 필수정보가 누락됨이 없이 전부 존재해야 함

NaN 값이 있는 데이터

df = pd.read_csv('./data/attendance.csv', index_col=0)
print(df, end='\n\n')

결측값 합계 isnull()

print(df.isnull().sum(), end='\n\n')

dropna(행)

df.dropna(inplace=True)
print(df, end='\n\n')

dropna(column)

df.dropna(axis='columns', inplace=True)
print(df, end='\n\n')

NaN을 0으로 대체

df.fillna(0, inplace=True)
print(df, end='\n\n')

NaN을 평균값으로 대체

df.fillna(df.mean(), inplace=True)
print(df, end='\n\n')

NaN을 중간값으로 대체

df.fillna(df.median(), inplace=True)
print(df, end='\n\n')

유일성(Uniqueness)

: 동일한 데이터가 중복되면 안됨

- 한 데이터를 수정할 때, 다른 데이터를 수정하지 못하면 문제발생 함.

ex) 회원가입을 다시할 때

데이터 출력

df = pd.read_csv('./data/dust.csv', index_col=0)
print(df.head(), end='\n\n')

인덱스 출력

print(df.index)

인덱스 갯수 출력

print(df.index.value_counts())

중복 데이터 출력

print(df.loc['07월 31일'])

중복 row 제거

df.drop_duplicates(inplace=True)
print(df.index.value_counts())

중복 column 제거

- 행 열 치환

print(df.T)

- 강원.1 제거

df = df.T.drop_duplicates().T
print(df)

통일성 (Conformity)

: 데이터가 동일한 형식으로 저장되야함

- 데이터 타입 / 단위 / 포멧

- 가격의 콤마 여부 / 단위 표시 여부 / 시간 단위 or 분 표시

정확성 (Accuracy)

: 데이터가 정확해야함

- 주로 데이터를 모으는 과정에서 발생

키 측정 시 : 신발을 신고 측정 and 신발을 벗고 측정

- 이상점(Outlier)

: 다른 값들과 너무 동떨어져 있는 데이터

Q. 이상점을 측정하는 방법?

A. 정해진 것 없음.

→ 보통 boxplot에서 25% 지점의 1.5배 아래로 벗어난 지점 and 75% 1.5배 이상 위로 벗어난 지점

→ 고치거나 지워야함.

→ 의미 있을 수도 방해가 될 수도 있다.

데이터 가져오기

%matplotlib inline
import pandas as pd

df = pd.read_csv('./data/beer.csv', index_col = 0)
df.head()

boxplot 출력

df.plot(kind='box', y='abv')

Q1, Q3 지점 확인

# 25% , 75% 지점 확인
df['abv'].describe()

- qunantile( ratio )

df['abv'].quantile(0.25)  # 0.05
df['abv'].quantile(0.75)  # 0.065

IQR 값 구하기

q1 = df['abv'].quantile(0.25)
q3 = df['abv'].quantile(0.75)
iqr = q3 - q1

이상치의 기준

cond = (df['abv']< q1 - 1.5*iqr) | (df['abv']>q3 + 1.5*iqr)

df[cond]

- 3번째 데이터는 'abv' 값이 1/100 되야함.

이상치 값 고치기

df.loc[2250, 'abv'] = 0.055
df.loc[2250]

다시 이상치 출력

cond = (df['abv']< q1 - 1.5*iqr) | (df['abv']>q3 + 1.5*iqr)
df[cond]

나머지 이상치들은 제거

- 맥주아닌 소주 / 보드카임

df[cond].index

df.drop(df[cond].index, inplace=True)
cond = (df['abv']< q1 - 1.5*iqr) | (df['abv']>q3 + 1.5*iqr)
df[cond]

boxplot 재출력

df.plot(kind='box', y='abv')

이상치 제거 2 데이터 가져오기

df = pd.read_csv('./data/exam_outlier.csv')
df

데이터 시각화

import matplotlib.pyplot as plt
plt.scatter(df['reading score'], df['writing score'])

이상치 2개 발견

점수별 상관계수

df[['reading score', 'math score', 'writing score']].corr()

- 쓰기와 수학 상관관계 너무 낮음

이상치 값 출력

df[df['writing score']>100]

이상치 제거 및 다른 이상치 보임

df.drop(51, inplace=True)
df.plot(kind='scatter', x='reading score', y='writing score')

향상된 상관계수 값

df[[ 'math score', 'reading score', 'writing score']].corr()

다른 이상치 제거

df.drop(373, inplace=True)
df.plot(kind='scatter', x='reading score', y='writing score')

- reading 시험을 답안지 밀려썼을 수도??

향상된 writing - reading 상관계수

df[['reading score', 'math score', 'writing score']].corr()

[Pandas] DataFrame 큰 데이터 살피기

공기반 코딩반 — Tue, 2 Jan 2024 09:18:53 +0900

DataFrame 데이터

head()

print(laptops_df.head(3), end='\n\n')

tail()

print(laptops_df.tail(6), end='\n\n')

shape

print(laptops_df.shape, end='\n\n')

columns

print(laptops_df.columns, end='\n\n')

info()

print(laptops_df.info(), end='\n\n')

describe()

print(laptops_df.describe(), end='\n\n')

sort_values(by='{column}', ascending= , inplace=)

print(laptops_df.iloc[:,:-1].sort_values(by='price', ascending=False), end='\n\n')

Series 데이터

#### Series 큰 데이터
laptops_df = pd.read_csv('./data/laptops.csv')
print(laptops_df['brand'], end='\n\n')

unique()

# 겹치는 데이터 제거
print(laptops_df['brand'].unique(), end='\n\n')

value_counts()

- 요소별 개수 세기

print(laptops_df['brand'].value_counts(), end='\n\n')

describe()

print(laptops_df['brand'].describe(), end='\n\n')

[Pandas] DataFrame index/column

공기반 코딩반 — Tue, 2 Jan 2024 00:22:37 +0900

rename 함수

- position 컬럼을 Position으로 대문자 변경

- columns 사용

liverpool_df = pd.read_csv('./data/liverpool.csv', index_col=0)
liverpool_df.rename(columns={'position' : 'Position'})
print(liverpool_df, end='\n\n')

∴ 바뀌지 않음

- rename 함수가 새로운 DataFrame을 만들어 컬럼을 변경

→ 원래 DataFrame에는 영향이 없음

→ inplace=True 적용

liverpool_df = pd.read_csv('./data/liverpool.csv', index_col=0)
liverpool_df.rename(columns={'position' : 'Position'}, inplace=True)
print(liverpool_df, end='\n\n')

원래 DataFrame에 적용됨

여러 개 column 이름을 변경

liverpool_df.rename(columns={'position' : 'Position', 'born':'Born', 'number':'Number', 'nationality':'Nationality' }, inplace=True)
print(liverpool_df, end='\n\n')

Index에 설명 붙이기

: index 이름 붙이기

liverpool_df.index.name = 'Player Name'
print(liverpool_df, end='\n\n')

인덱스 출력 및 기존 인덱스 → column으로 이동

print(liverpool_df.index) # 인덱스 출력
liverpool_df['Player Name'] = liverpool_df.index  # 기존 인덱스들을 column의 값으로 저장해야 함
print(liverpool_df, end='\n\n')

변경한 인덱스 값을 DataFrame에 적용

liverpool_df.set_index('Number', inplace=True)
print(liverpool_df, end='\n\n')

Q. 어떤 column을 Index로 써야할 까??

A. 겹치는 값이 가장 적은 Column을 Index로 사용

- 선수이름 < 등번호

[Pandas] DataFrame 값 쓰기 및 삭제

공기반 코딩반 — Mon, 1 Jan 2024 03:17:52 +0900

데이터 row 값 추가

iphone_df.loc['iPhone XR'] = ['2018-01-25', 6.1, '3GB', 'ios 12.0.1', 'Yes']
print(iphone_df, end='\n\n')

데이터 column 추가

iphone_df['제조사'] = 'Apple'
print(iphone_df, end='\n\n')

데이터 row 삭제

iphone_df.drop('iPhone XS', axis='index', inplace=False)  # row 삭제
print(iphone_df, end='\n\n')

- inplace=True인 경우

True인 경우

- inplace=False인 경우

inplace=False 인 경우

-- 원본 데이터 안바뀜

데이터 column 삭제

iphone_df.drop('제조사', axis='columns', inplace=True)
print(iphone_df, end='\n\n')

데이터 row 여러 개 삭제

iphone_df.drop(['iPhone 7', 'iPhone 8', 'iPhone X'], axis='index', inplace=False) 
print(iphone_df, end='\n\n')

[Pandas] DataFrame 값 쓰기

공기반 코딩반 — Sun, 31 Dec 2023 02:01:58 +0900

특정 데이터 값(행, 열) 바꾸기

##### DataFrame 값 쓰기
iphone_df.loc['iPhone 8', '메모리'] = '2.5GB'
print(iphone_df, end='\n\n')

하나의 column의 모든 값 바꾸기

# 하나의 열 값 바꾸기
iphone_df.loc['iPhone 8'] = ['2016-09-22', '4.7', '2GB', 'iOS 11.0', 'No']
print(iphone_df)

리스트로 하나의 column의 값 전체를 바꿈

# 열 값 바꿈 (리스트)
iphone_df['디스플레이'] = ['4.7in', '5.5in', '4.7in', '5.5in', '5.8in', '5.8in', '6.5in']
print(iphone_df, end='\n\n')

특정 값으로 하나 column의 값 전체를 바꿈

# 열 값 바꿈 (하나의 값)
iphone_df['Face ID'] = 'Yes'
print(iphone_df, end='\n\n')

특정 값으로 여러 column의 값 전체를 바꿈

# 열 값 바꿈 (하나의 값)
iphone_df[['디스플레이','Face ID']] = 'Yes'
print(iphone_df, end='\n\n')

특정 값으로 여러 개 row의 값 전체를 바꿈

iphone_df.loc[['iPhone 8','iPhone X']] = 'x'
print(iphone_df, end='\n\n')

- slicing 이용

iphone_df.loc['iPhone 7':'iPhone X'] = 'x'
print(iphone_df, end='\n\n')

조건문 이용해 여러 개 row의 값 전체를 바꿈

iphone_df.loc[iphone_df['디스플레이'] >5 ]  = 'P'
print(iphone_df, end='\n\n')

조건문 여러 개 사용해 데이터 값 변경

df['합격 여부'].loc[(df['LC'] >=250) & (df['RC'] >= 250) & (df['LC']+df['RC']>=600)] =  True

- 조건 마다 괄호로 묶기

인덱싱을 이용해 특정 값 변경

iphone_df.iloc[[1,3], [1,4]] = 'v'
print(iphone_df, end='\n\n')

[Pandas] 숫자 인덱싱

공기반 코딩반 — Sat, 30 Dec 2023 04:12:50 +0900

iloc (Integer Location)

print(iphone_df.iloc[2,4])  # row=2, column=4


// No

print(iphone_df.iloc[[1,3], [1,4]])  # row=1,3 / column=1,4

1,3행 / 2,4열(디스플레이, Face ID)

print(iphone_df.iloc[3:, 1:4]) # row=3~ / column 1,2,3

[Pandas] DataFrame 인덱싱

공기반 코딩반 — Fri, 29 Dec 2023 15:33:09 +0900

loc 사용

import pandas as pd

iphone_df = pd.read_csv('./data/iphone.csv', index_col=0)

print(iphone_df.loc['iPhone 8', '메모리']) # [row, column]

print(iphone_df.loc['iPhone 8', '가격'])   # 존재하지 않는 column 이면 오류

에러 출력

Column 정보 접근

print(iphone_df.loc['iPhone X', :]) # 모든 column 정보 출력
print()

print(iphone_df.loc['iPhone X']) # 모든 column 정보 출력
print(type(iphone_df.loc['iPhone X'])) #  시리즈 데이터  pandas 1차원 데이터

- type : Series

- 특정 row에 대한 column 정보들을 가져옴

여러 Column에 대한 인덱싱

df[[column1, column2]]

print(iphone_df[['출시일', 'Face ID']]) # 출시일 모든 row 정보 출력
print(type(iphone_df[['출시일', 'Face ID']])) # 타입

- type : Series아닌 DataFrame(2차원이기 때문)

Row 정보 접근

print(iphone_df.loc[:, '출시일']) # 출시일 모든 row 정보 출력
print()
print(iphone_df['출시일']) # 출시일 모든 row 정보 출력

사용법

- loc 사용 : df.loc[행, 열] 정보

df.loc[row, column]

- 특정 df[column] 입력

여러 row에 대한 인덱싱

print(iphone_df.loc[['iPhone X', 'iPhone 8']])

- type : Serires아닌 DataFrame(2차원 이기때문)

print(type(iphone_df.loc[['iPhone X', 'iPhone 8']])) # 출시일 모든 row 정보 출력

특정 row slicing

print(iphone_df.loc['iPhone 8':'iPhone XS'], end='\n\n') # 특정 row slicing

특정 column slicing

print(iphone_df['메모리':'Face ID'], end='\n\n') # 안 뜸

- 올바른 방법

print(iphone_df.loc[:, '메모리':'Face ID']) # column slicing

특정 row, column slicing

print(iphone_df.loc['iPhone 7' : 'iPhone X', '메모리':'Face ID']) # 특정 row, 특정 column  slicing

- iPhone 7 ~ iPhone X 의 메모리, 출시버전, Face ID 여부를 슬라이싱 해서 출력

Boolean으로 데이터 인덱싱

print(iphone_df.loc[[True, False, True, True, False, True, False ]]) #  True인 열만 출력
# print(iphone_df.loc[[True, False, True, True]]) # 길이 짧으면 나머지는 False, 행 갯수 만큼 불리언 갯수도 맞아야함 
# print(iphone_df.loc[:, [True, False, True, True]]) # 길이 짧으면 나머지는 False, 행 갯수 만큼 불리언 갯수도 맞아야함

조건 인덱싱

print(iphone_df['디스플레이']>5)

-Pandas Series를 반환

- 부등호 조건

print(iphone_df.loc[iphone_df['디스플레이']>5])

import pandas as pd

df = pd.read_csv('data/broadcast.csv', index_col=0)
df['KBS'].loc[df['KBS']> 30]

import pandas as pd

df = pd.read_csv('data/broadcast.csv', index_col=0)
# 여기에 코드를 작성하세요
condition = df['SBS'] < df['TV CHOSUN']
df[['SBS', 'TV CHOSUN']].loc[condition]

- 등호 조건

print(iphone_df['Face ID'] == 'Yes')

- & 조건

print(iphone_df.loc[(iphone_df['Face ID'] == 'Yes') & (iphone_df['디스플레이']>5)])

- 조건들을 괄호를 사용해 묶는 것 필요

DataFrame 합치는 방법

1) 딕셔너리 → DataFrame화

combined_df = pd.DataFrame({
    'day': samsong_df['요일'], 
    'samsong': samsong_df['문화생활비'], 
    'hyundee': hyundee_df['문화생활비']
})

combined_df

2) loc 사용

samsong_data = samsong_df.loc[1:, 3]
hyundee_data = hyundee_df.loc[1:, 3]
# print(samsong_data)

combined_df = pd.concat([samsong_df.loc[:, :0], samsong_data, hyundee_data], axis=1)
# # df = pd.DataFrame(df, columns=['day', 'samsong', 'hyundee'])
combined_df.columns=['day', 'samsong', 'hyundee']
combined_df = combined_df.drop(0, axis=0)
combined_df.index = [0,1,2,3,4,5,6]
combined_df

[Pandas] csv 데이터 불러오기

공기반 코딩반 — Wed, 27 Dec 2023 03:30:49 +0900

CSV 자료 불러오기

import pandas as pd

iphone_df = pd.read_csv('./iphone.csv')
print(iphone_df)
print(type(iphone_df))
# 첫 번째줄을 헤더로 읽음

headers가 없는 데이터(자료가 헤더로 뜨는 경우)

iphone_df = pd.read_csv('./data/iphone.csv', header=None)

한 열을 row 이름으로 설정

iphone_df = pd.read_csv('./data/iphone.csv', index_col=0)

[Pandas] DataFrame이란?

공기반 코딩반 — Tue, 26 Dec 2023 09:32:15 +0900

DataFrame

표 형식의 데이터
2차원 형태의 데이터를 다루기 위한 자료형(대부분의 자료는 2차원 형태임)
행(Row/Index) : 레코드 , 열(Column) : 데이터 특징

Numpy와의 차이점

Pandas는 Numpy를 기반으로 만들어짐
Numpy + 행/열에 이름 붙이기 기능(문자열, 숫자 다가능 : 다양한 자료형)

Pandas vs Numpy

import pandas as pd
import numpy as np
two_dimensional_list = [['dongwook', 50, 85], ['sineui', 89, 31], ['iljoong', 68, 91], ['yoonseo', 88, 75]]

print(np.array([two_dimensional_list]))
df = pd.DataFrame(two_dimensional_list, columns=['name', 'ENG', "MATH"], index=['a', 'b', 'c', 'd'])
# print(type(df))
print(df)

# numpy 출력
[[['dongwook' '50' '85']
  ['sineui' '89' '31']
  ['iljoong' '68' '91']
  ['yoonseo' '88' '75']]]
  
  
  # pandas 출력
  name  ENG  MATH
a  dongwook   50    85
b    sineui   89    31
c   iljoong   68    91
d   yoonseo   88    75

Columns 변수

: 열 이름 붙이기

df = pd.DataFrame(two_dimensional_list, columns=['name', 'ENG', "MATH"])

- List에 컬림 변수 넣어줌

Index 변수

df = pd.DataFrame(two_dimensional_list, columns=['name', 'ENG', "MATH"], index=['a', 'b', 'c', 'd'])

: 행에 이름 붙이기

DataFrame 정보

같은 컬럼 내에서는 같은 자료형

print(df.columns)
print(df.index)
print(df.dtypes)

2차원 데이터 → DataFrame

list, array, series → DataFrame

import numpy as np
import pandas as pd

two_dimensional_list = [['dongwook', 50, 86], ['sineui', 89, 31], ['ikjoong', 68, 91], ['yoonsoo', 88, 75]]
two_dimensional_array = np.array(two_dimensional_list)
list_of_series = [
    pd.Series(['dongwook', 50, 86]), 
    pd.Series(['sineui', 89, 31]), 
    pd.Series(['ikjoong', 68, 91]), 
    pd.Series(['yoonsoo', 88, 75])
]

# 아래 셋은 모두 동일
df1 = pd.DataFrame(two_dimensional_list)
df2 = pd.DataFrame(two_dimensional_array)
df3 = pd.DataFrame(list_of_series)

print(df1)

          0   1   2
0  dongwook  50  86
1    sineui  89  31
2   ikjoong  68  91
3   yoonsoo  88  75

Dictionary Data → DataFrame

- From dict of lists, dict of arrays, dict of series

- 리스트가 담긴 사전 → DataFrame

import numpy as np
import pandas as pd

names = ['dongwook', 'sineui', 'ikjoong', 'yoonsoo']
english_scores = [50, 89, 68, 88]
math_scores = [86, 31, 91, 75]

dict1 = {
    'name': names, 
    'english_score': english_scores, 
    'math_score': math_scores
}

dict2 = {
    'name': np.array(names), 
    'english_score': np.array(english_scores), 
    'math_score': np.array(math_scores)
}

dict3 = {
    'name': pd.Series(names), 
    'english_score': pd.Series(english_scores), 
    'math_score': pd.Series(math_scores)
}


# 아래 셋은 모두 동일합니다
df1 = pd.DataFrame(dict1)
df2 = pd.DataFrame(dict2)
df3 = pd.DataFrame(dict3)

print(df1)

       name  english_score  math_score
0  dongwook             50          86
1    sineui             89          31
2   ikjoong             68          91
3   yoonsoo             88          75

From list of dicts

: 사전이 담긴 리스트 → DataFrame

import numpy as np
import pandas as pd

my_list = [
    {'name': 'dongwook', 'english_score': 50, 'math_score': 86},
    {'name': 'sineui', 'english_score': 89, 'math_score': 31},
    {'name': 'ikjoong', 'english_score': 68, 'math_score': 91},
    {'name': 'yoonsoo', 'english_score': 88, 'math_score': 75}
]

df = pd.DataFrame(my_list)
print(df)

   english_score  math_score      name
0             50          86  dongwook
1             89          31    sineui
2             68          91   ikjoong
3             88          75   yoonsoo

Pandas의 dtype

코드

print(df.dtypes)

출력

name             object
english_score     int64
math_score        int64
dtype: object

종류

Pandas의 dtype

[Pandas] Pandas vs R

공기반 코딩반 — Mon, 25 Dec 2023 23:07:59 +0900

R은 기존에 DataScience 분야에서 많이 써온 툴이었음.
R은 데이터 분석의 도구가 잘 갖춰져 있었음
(데이터 보관/정리/분석)
이를 파이썬이 Pandas 라이브러리로 복제함
기존 파이썬은 다양한 분야에서 써오던 툴로써, 데이터를 다루는 것 까지 용이
→ 인기 많아짐

Pandas 기능

외부데이터를 읽고 쓰기
정리된 데이터를 새로운 파일에 저장
데이터 시각화
표 형식의 데이터를 다루기 용이

[Numpy] Python List vs Numpy Array

공기반 코딩반 — Mon, 25 Dec 2023 15:49:44 +0900

덧셈의 경우

Numpy : 덧셈 수행
List : 이어 붙이기

성능

Numpy

간단한 문법, 뛰어난 성능
수치 계산이 많고 복잡할 떄
행렬 같은 다차원 배열의 경우 사용

List

값을 추가하고 제거하는 일

성능 차이 발생 이유 : 값이 저장되는 방식의 차이

Numpy : 같은 자료형만 저장 가능
List : 여러 자료형 저장 가능

numpy 통계 함수

최대 최소

import numpy as np

array1 = np.array([14, 6, 13, 21, 23, 31, 9, 5])

print(array1.max()) # 최댓값
print(array1.min()) # 최솟값

# 31
# 5

평균

import numpy as np

array1 = np.array([14, 6, 13, 21, 23, 31, 9, 5])

print(array1.mean()) # 평균값
# 15.25

중앙값

import numpy as np

array1 = np.array([8, 12, 9, 15, 16])
array2 = np.array([14, 6, 13, 21, 23, 31, 9, 5])

print(np.median(array1)) # 중앙값
print(np.median(array2)) # 중앙값
# 12.0
# 13.5

표준편차, 분산

import numpy as np

array1 = np.array([14, 6, 13, 21, 23, 31, 9, 5])

print(array1.std()) # 표준 편차
print(array1.var()) # 분산
# 8.496322733983215
# 72.1875

[Numpy] 연산

공기반 코딩반 — Mon, 25 Dec 2023 09:31:45 +0900

산술연산

import numpy as np

array1 = np.arange(10)
array2 = np.arange(10, 20)


print(array1)
print(array2)
print(array1 * 2)
print(array2 / 2)
print(array1 + array2)

불린연산

import numpy as np

array1 = np.array([2,3,5,7,11,13,17])

print(array1 > 4)
print(array1 % 2 == 0 )


# [False False  True  True  True  True  True]
# [ True False False False False False False]

np.where 함수

booleans = np.array([ True, True, False, True, True, False, True])
print(np.where(booleans))

# (array([0, 1, 3, 4, 6]),)

filter 사용

filter = np.where(array1 > 4)
print(filter)
# (array([2, 3, 4, 5, 6]),)


print(array1[filter])
# [ 5  7 11 13 17]

TEST

import numpy as np

revenue_in_yen = [
    300000, 340000, 320000, 360000, 
    440000, 140000, 180000, 340000, 
    330000, 290000, 280000, 380000, 
    170000, 140000, 230000, 390000, 
    400000, 350000, 380000, 150000, 
    110000, 240000, 380000, 380000, 
    340000, 420000, 150000, 130000, 
    360000, 320000, 250000
]

# 여기에 코드를 작성하세요
yen_array = np.array(revenue_in_yen)
filter = np.where( yen_array <= 200000) 
bad_days_revenue = yen_array[filter]

# 테스트 코드
bad_days_revenue

[Numpy] Indexing, Slicing

공기반 코딩반 — Mon, 25 Dec 2023 00:18:46 +0900

인덱싱(Indexing)

import numpy as np

array1 = np.array([2,3,5,7,11,13,17])

print(array1[0])
print(array1[-1])
print(array1[[1,3,4]])

# 2
# 17
# [ 3  7 11]


array2 = np.array([2,1,3])
print(array1[array2])
# [5 3 7]

슬라이싱(Slicing)

print(array1[2:7])
print(array[:7])
print(array1[2:])
print(array1[2:11])
print(array1[2:11:2])

# [ 5  7 11 13 17]
# [ 2  3  5  7 11 13 17]
# [ 5  7 11 13 17]
# [ 5  7 11 13 17]
# [ 5 11 17]

[Numpy] array

공기반 코딩반 — Sun, 24 Dec 2023 22:00:19 +0900

Numpy

: Numerical Python

array1 = numpy.arange(2, 7)
print(array1)

import numpy

array1 = numpy.array([2,3,5,7,11,13,17,19,23,29,31])
array2 = numpy.array([[1,2,3,4], [5,6,7,8], [9,10,11,12]])

print(type(array1))
print(array1.shape)
print(array1.size)

print(type(array2))
print(array2.shape)
print(array2.size)

결과

full

array1 = numpy.full(6, 7)
    
print(array1)
# [7 7 7 7 7 7]

array1 = numpy.full(6, 1)
array2 = numpy.ones(6, dtype=int)
    
print(array1)
print()
print(array2)
#[1 1 1 1 1 1]

#[1 1 1 1 1 1]

zeros

array1 = numpy.full(6, 0)
array2 = numpy.zeros(6, dtype=int)
    
print(array1)
print()
print(array2)

arange

array1 = numpy.arange(6)
print(array1)
array1

# 출력
# [0 1 2 3 4 5]
# array([0, 1, 2, 3, 4, 5])

array1 = numpy.arange(2, 7)
print(array1)

# [2 3 4 5 6]

array1 = numpy.arange(3, 17, 3)
print(array1)

# [ 3  6  9 12 15]

끝 출력 숫자 -1 만큼

[JavaScript] 상수 변수

공기반 코딩반 — Sun, 24 Dec 2023 00:45:57 +0900

const로 선언된 상수는 변경 불가능

let 으로 선언된 변수는 변경 가능

- 코드 길어지면 변수가 어떤 값을 가질 지 모르기 때문

const로 선언된 객체의 프로퍼티의 값은 변경 가능

let x = 1;

x = 4;

const y = x;

y = 3;
x = 2;

console.log(x);

→ const변수를 변경하려 해서 error 발생

let team1 = ['Drum', 'Bass', 'Saxophone'];
const team2 = team1;

team1.splice(2, 1, 'Trumpet');
team2.splice(2, 1, 'Piano');

console.log(team1);
console.log(team2);


// [ 'Drum', 'Bass', 'Piano' ]
// [ 'Drum', 'Bass', 'Piano' ]

- 배열은 참조형 값이기 때문에, 이때 주소 값이 복사되어서 일단 team1과 team2는 서로 같은 배열을 가리킴.

- const 키워드로 변수를 선언하게 되면 값을 재할당할 수 없지만, 할당된 값이 객체나 배열일 경우 메소드를 통해서 그 값을 변경할 수 있음.

[JavaScript] 참조형

공기반 코딩반 — Sat, 23 Dec 2023 23:36:50 +0900

배열은 slice() 사용가능

let numbers1 = [1, 2, 3];
let numbers2 = numbers1.slice();

numbers2.push(4);

console.log(numbers1);  // [ 1, 2, 3 ]
console.log(numbers2);  // [ 1, 2, 3, 4 ]

참조형은 복사가 불가능함(= 활용)

1) assign 메소드를 이용한 복사

let course1 = {
  title : 'title',
  language: 'JavaScript'
};

let course2 = Object.assign({}, course1);

course2.title = 'type';

console.log(course1);  title 값 그대로
console.log(course2);  title 값 변경

2) for ... in 문을 이용한 복사

function cloneObject(Object){
  let temp = {};
  for (let key in object){
    temp[key] = object[key];
  }
  
  return temp;
}

let course1 = {
  title : 'title',
  language: 'JavaScript',
  prerequisites: []
};

let course2 = cloneObject(course1);


course2.title = 'type';
course2.prerequisites.push('Python');   // 문제발생 

console.log(course1);
console.log(course2);

- 객체 복사는 잘 됨

- course2에 추가한 선이수 과목이 course1에도 나타남 (선이수과목 property가 배열이기 때문에 주소값이 복사됨)

[JavaScript] 문자열

공기반 코딩반 — Fri, 22 Dec 2023 20:04:36 +0900

문자 찾기

let myString = 'Hello world';

console.log(myString[3]);  // l 출력
console.log(myString.charAt(3));  // l 출력

인덱스

console.log(myString.indexOf('o'));  // 4 
console.log(myString.lastIndexOf('o'));  // 7

대문자, 소문자

console.log(myString.toUpperCase());
console.log(myString.toLowerCase());

console.log(myString.trim());  // 양쪽 공백 지우기

slice

console.log(myString.slice(0,2));  // He   0번 ~ 1번 인덱스까지
console.log(myString.slice(3));  // lo world   3번 ~ 끝 인덱스까지

for ... of

for (let str of myString) {
  console.log(str);
}

/*
H
e
l
l
o 

w
o
r
l
d
*/

자료형

let myString = 'Codeit';
let myArray = ['C', 'o', 'd', 'e', 'i', 't'];

console.log(myString === myArray);  // False
console.log(myString == myArray);  // False

Mutable vs Immutable

배열 : Mutable

문자열 : Immutable

// 배열은 mutable
let myArray = ['C', 'o', 'd', 'e', 'i', 't'];
myArray[0] = 'B';
console.log(myArray);

// 문자열은 immutable
let myString = 'Codeit';
myString[0] = 'B';
console.log(myString);


// (6) ["B", "o", "d", "e", "i", "t"]
// Codeit

산타토익 환급반[500%]

공기반 코딩반 — Wed, 6 Dec 2023 23:49:19 +0900

산타토익 환급반[500%] 을 진행했다.

추천학습 진행하면 하루에 평균 15-25분 학습하는 걸로 기록된다.

~~사실상 복습하고 해설 읽다보면 최소 50분은...~~

~~90일 괜히 한거... 너무 길었...~~

아무튼 월마다 학습기록을 달력으로 남겨보겠습니다.

9월

10월

11월

12월

총 72일 출석했고 10/11월에 많이 학습한 것을 볼 수 있다.

성적은... 기대치 만큼은 아니지만 도움은 된다.

하이라이트 기능 써서 단어 잘 외웠다.

[AWS] Lambda + ALB / Lambda + API Gateway

공기반 코딩반 — Fri, 8 Sep 2023 18:54:31 +0900

Lambda를 HTTP/HTTPS Endpoint에서 호출 방법

1) ALB + Lambda

2) Lambda + API Gateway

1) ALB + Lambda

ALB + Lambda

Lambda 함수를 대상 그룹에 등록

- ALB에서 Lambda로 갈 때 HTTP → JSON 문서로 변환

ALB to Lambda로 Request Payload

- ELB 정보

HTTP 메소드: GET

경로: /lambda

Lambda to ALB

: Lambda에서 ALB로 JSON문서로 보내면 ALB가 JSON문서 → HTTP로 변환

Lambda to ALB

ALB Multi Value Header

: 같은 값을 지니는 다수의 헤더나 Query String을 입력한 경우

- Query String 매개변수 → 람다함수로된 배열로 변환

Q. 다중 헤더값을 지원하는 방법

A. ALB의 설정으로 가능

2) Lambda + API Gateway

[코딩테스트] 동적계획법(DP)

공기반 코딩반 — Sun, 3 Sep 2023 15:22:48 +0900

DP(Dynamic Programming)란?

문제에 대한 정답이 될 가능성이 있는 모든 해결책을 “체계적”이고 “효율적”으로 탐색하는 풀이법

- 완전 탐색의 경우 시간 복잡도(계속 함수를 두 개씩 호출함) : O(2^n)

ex) 피보나치 수열을 재귀함수로 풀 때

return fibo(n - 1) + fibo(n - 2)

Q. fibo(1), fibo(2) 등 하위 문제들이 fibo(8), fibo(7) 계산할 때 계속 해서 중첩해서 계산됨

→ 동적 프로그래밍(DP) 이용

하위문제 여러 개로 나눈 후 메모리에 계산 값을 넣어 향후 상위 문제에서 계산 하지 않고 꺼내 씀

→ 시간 복잡도가 O(2^n) → O(n)으로 감소

Top-Down 방식

memo = {}

def fibo(n):
    if n == 1 or n == 2:
        return 1
    if n not in memo:
        memo[n] = fibo(n - 1) + fibo(n - 2)
    return memo[n]

= 상위 문제 f(n) 부터 하위문제 f(1)로 접근

- Memoziation : Top-Down방식에서 메모리를 채워 나가는 것

Bottom-Up 방식

memo = {}

def fibo(n):
    for i in range(3, n + 1):
        memo[i] = memo[i - 1] + memo[i - 2]
    return memo[n]

= 하위문제 f(1)부터 상위 문제 f(n) 접근

- Tabulation : Bottom-Up 에서 memo를 채워나가는 것

[AWS] Kinesis

공기반 코딩반 — Sat, 26 Aug 2023 14:23:55 +0900

Kinesis Data Streams

: 빅데이터를 시스템에 스트리밍 하는 리소스

Kinesis Data Streams

- 번호가 여러 개인 샤드(Shard)로 구성됨 (샤드는 사전에 프로비저닝 되있음)

- 생산자(Application, Client, SDK, KPL, Kinesis Agent등)이 Kinesis Data Streams에 데이터를 보냄

- SDK에 의한 Records 생성

Record는 파티션 키와, Data Blob(1MB)으로 구성

- 샤드당 1MB/sec, 1,000MPS(msg/sec)로 데이터 전송

- 소비자(Application, Lambda, Kinesis Data Firehose, Kinesis Data Analystics)

- 소비자는 레코드를 수신할 때, 파티션 키와 시퀀스 키, 데이터 블롭를 받음

- Kinesis Data Streams의 소비모드에서는 처리량이 샤드당 2MB/sec

Kinesis Data Streams 속성

- 보유기간(Retention) 1~365일

- 데이터를 재처리 할 수 있는 능력을 의미

- Immutability : Kinesis Data Streams에 데이터가 삽입되면 삭제 불가

- Kinesis Data Stream으로 데이터를 보내면 파티션 키 추가됨, 동일한 파티션 키를 갖는 샤드로 이동

- 생산자는 AWS SDK, KPL, Kinesis Agent를 이용해 데이터 전송

- 소비자는 KCL(Kinesis Client Library), AWS SDK를 직접작성

Kinesis Data Streams 용량 모드

기록 용량 모드(Provisioned Mode)

- 용량이 계획 가능할 때

- 몇 개의 프로비저닝된 샤드를 선택 후 수동 or API를 이용해 확장

온디맨드 모드(On-Demand Mode)

- 용량 기획 어려울 때 사용

- 프로비저닝 or 관리가 필요 없음

- 디폴트 용량 4MB/s, 4,000 Records/sec

- 30일간의 피크 평균량을 통해 Auto-scaling 수행

- 데이터 입출력 GB당 요금 청구

Kinesis Data Streams 보안

- IAM 통한 샤드 접근 제어

- HTTPS, KMS 이용한 전송 중암호화

- VPC Endpoint

- CloudTrail을 활용한 API 접근 제어

[AWS] EC2 보안그룹

공기반 코딩반 — Thu, 24 Aug 2023 12:10:14 +0900

EC2 인바운드 and 아웃바운드

- 내 컴퓨터 port 22는 연결 O

- 다른 컴퓨터 port 22는 연결 X

- 디폴트로 인바운드는 모든 트래픽 차단

- 디폴트로 아웃바운드는 Any(모든 트래픽) 허용

→ 방화벽 작동 원리

보안 그룹 특성

- 여러 인스턴스에 붙일 수 있음

- 보안 그룹은 EC2 밖에 위치(EC2 인스턴스 외부에 있는 방화벽)

- 특정 리전이나 VPC 조합에 고정됨

→ 리전을 옮기거나 다른 VPC를 만들면 >> 보안 그룹을 새로 만들어야 함

∴ SSH access 전용으로 별도의 보안 그룹을 관리하는 것이 좋음.

- 보통 애플리케이션의 타임아웃이 발생하면(대기 상태) → 보안 그룹 문제

- 애플리케이션에 오류가 있는 경우는 "Connection Refused" 메세지 발생

다른 보안 그룹에서 특정 보안 그룹 참조

보안그룹 참조

좌측 부터 인스턴스 1,2,3,4번

1번 인스턴스에 보안그룹 1번, 2번 허용

2번 인스턴스에 보안그룹 2번 연결

3번 인스턴스에 보안그룹 1번 연결

4번 인스턴스에 보안그룹 3번 연결

인스턴스 (1,2), (1,3)은 보안그룹이 연결허용되어 있어 된 포트를 통해 IP상관 없이 통신 O

인스턴스 (1,4)은 1번 인스턴스의 보안그룹에 허용되지 않는 인바운드 규칙을 갖고 있기 때문에 연결 X

Classic 포트

- 22 SSH(Secure Shell) : 리눅스에서 인스턴스에 로그인

- 21 FTP (File Transfer Protocol) : 파일 공유에 파일을 업로드 할 때 사용

- 22(동일) SFTP(Secure File Transfer Protocol) : SSH를 사용해 파일을 업로드

- 80 HTTP : 보안 적용 안된 웹사이트에 엑세스 할 때 사용

- 443 HTTPS : 보안 적용된 웹사이트에 엑세스 할 때 사용

- 3389 RDP(Remote Desktop Protocol) : 원격 데스크탑 프로토콜 / Windows 인스턴스용

[AWS] EC2 기초

공기반 코딩반 — Wed, 23 Aug 2023 22:21:35 +0900

부트스트래핑(Bootstrapping)

- 머신을 시작할 때 명령을 실행(Pseudo권한으로)

- 스크립트 형태, 시작할 때 한 번만 실행됨

- 업데이트, 소프트웨어 설치, 인터넷 일반 파일 다운로드 등

- 업데이트를 몇 개 하고, httpd 웹 서버를 머신에 설치

- 웹 서버가 될 HTML 파일을 작성

키 페어

- SSH 유틸리티를 사용하는 경우에 필요

- Windows 10 미만 버전에는 ppk 버전 선택

EBS Volume에서 중요한 것

- Advanced 모드 → 종료 시 삭제 (기본 활성화)

사용자 데이터

Private IPv4 주소

- AWS 네트워크 내부에서 해당 인스턴스에 엑세스 하는 데 사용됨.

Public IP 주소

- 실행 중인 웹 서버를 볼 수 있음

- EC2 중지했다가 실행하면, Public IP 주소 바뀜

※ 클라우드 장점

- 온프레미스 서버 없이, 인스턴스 100개여도 짧은 시간 내에 모두 실행 가능

[AWS] EBS Volume

공기반 코딩반 — Thu, 29 Jun 2023 17:56:04 +0900

EBS volume types: 총 6개

gp2/gp3(SSD): 범용적인 SSD, 1GiB ~ 1TiB, 비용 효율적인 저장소, 저지연성
- gp2: 기본 3,000 IOPS / 최대 16,000 IOPS, / IOPS와 처리량을 동시에 설정 불가, 1GB당 3 IOPS,
- gp3: 기본 3,000 IOPS, 초당 125MiB/s 처리량 / 최대 16,000 IOPS, 초당 1,000MiB/s 까지 끌어 올릴 수 있음. / IOPS와 처리량을 동시에 설정 가능

Provisioned IOPS (PIOPS) SSD

: 데이터 베이스 워크로드에 적합, 성능과 일관성에 민감 --> io1, io2볼륨 선택

16,000 IOPS 이상 요구하는 경우

io1/io2 (SSD): 고성능 퍼포먼스 SSD, 저지연성, 높은 throughput, (4GiB - 16TiB)
Max PIOPS = 16,000 for Nitro EC2 / Nitro EC2가 아닌 경우 32,000 IOPS까지
io2가 내구성과 GiB당 IOPS가 더 높음
io2는 io1과 동일 가격

io2 Block Express(4GiB - 64TIB)
millisecond 지연성

Hard Disk Drives

st1(HDD): 저비용, 규칙적인 접근일 때
sc1(HDD): 가장 저비용, 접근이 거의 필요없을 때
125MiB - 16TiB
빅데이터, 데이터 웨어하우스, Log processing에 적합
초당 500MiB/s , 최대 IOPS 500

sc1(Cold HDD): Data를 자주 접근안할 때
저비용이 가장 중요할 때
MAX 처리량 250MiB/s, IOPS 250

* 범용 SSD. Provisioned IOPS SSD의 차이

* 데이터베이스가 필요할 때, 대용량 저비용이 필요할 때

[AWS]

공기반 코딩반 — Sun, 25 Jun 2023 19:53:07 +0900

[AWS] Instance Scheduler

공기반 코딩반 — Thu, 22 Jun 2023 11:13:38 +0900

1. 스택 생성

cloudformation template올리기

2. 스택정보지정

CloudFormation 기타 설정

3. 스택 옵션 스킵

4. IAM 생성 click 후 create

DynamoDB 생성 확인

DynamoDB Table → 항목 탐색 → 필요없는 item 삭제

항목 삭제

period item 항목 편집

schedule 변경

정해진 시간 동안 ec2 정지 확인

CloudFormation 삭제

[Postman] flow에서 변수 입력

공기반 코딩반 — Fri, 16 Jun 2023 17:45:33 +0900

Postman flow에서 변수 입력

기존에 각각의 request에서 변수를 만들어 globals이나 다른 collection, environment에 저장하고 사용하였다.

하지만, global환경에 저장되었는 $random* 변수명을 이용해서 postman flow에서 테스트를 해보면 변수명이 업데이트가 안된다는 것을 발견할 수 있다.

다양한 random 변수명 예시

Postman flow에서 global 변수 update 불가

- collection, environment 변수 역시 update가 되지 않는다.

변수를 입력하는 방법은 변수를 저장하지 않는 것이다.

예시로

변수 저장하지 않았을 때

변수명을 저장했을 때

변수명을 저장했을 때와 저장하지 않았을 때 모습이 다른 것을 확인할 수 있다.

flow에서 값을 설정하고 싶을 때는 1번과 같은 상태로 진행하면 된다.

2번과 같이 진행하면 변수의 초기 설정 값만 계속 실행될 것이다.

Postman flow에서 변수 설정방법

flow를 생성하고 Create variable을 만든다.

Create Variable

Request 생성하면 설정한 변수 명을 볼 수 있디.

Get Variable을 활용 해 변수 값을 입력한다.

Request 생성 후, Get Variable을 통해 변수값 입력

결과

위에 POST 요청은 Naver Papago API를 활용한 것입니다.

영어를 한글로 바꾸는 요청으로 문장은 hello test를 변수로 입력했습니다.

결과를 확인하면

결과 확인

입력한 hello test → 안녕하세요 시험으로 바뀐 것을 볼 수 있습니다.

이번에는 Hello World!를 입력해보겠습니다.

Hello World! 입력

헬로 월드! 출력??

원래는 '안녕 세계'였지만, 왜 인지 모르겠지만, '헬로 월드!'가 나왔다.

아무튼 변수 입력에 따른 출력이 잘 되는 것을 확인할 수 있다.

[AWS] X-Ray

공기반 코딩반 — Tue, 13 Jun 2023 14:19:13 +0900

X-Ray

- 분산 어플리케이션 분석 및 디버깅 용도

- 시각화 기능 제공 → 어플리케이션 흐름 이해

- Trouble shooting 제어

X-Ray를 사용할 수 있는 AWS 리소스

- EC2, Lambda, DynamoDB. ELB, API Gateway, SNS, SQS, Elastic BeanStalk

- 자체적인 앱(Java, Node JS, Go, Ruby, Python

- API Calls: AWS SDK로 구현된 App은 API Call을 메타데이터를 감지, X-Ray 서비스 맵을 생성.

X-Ray 사용 방법

X-Ray Agent 설치

X-Ray SDK App 설치 -> Status Code와 Latency 체크

Trouble Sharing에 좋음(특히 Serverless 프로그램에 적합)

X-Ray 실습

환경 생성 완료

warning 상태, 코드 파일 업로드

[AWS] CodePipeline

공기반 코딩반 — Tue, 13 Jun 2023 11:12:07 +0900

[AWS] CodeDeploy

공기반 코딩반 — Mon, 12 Jun 2023 14:18:13 +0900

[AWS] Lambda VPC

공기반 코딩반 — Thu, 8 Jun 2023 11:29:00 +0900

Lambda가 VPC 내부에 접근해야하는 경우가 있음

Lambda가 VPC 안에 접근하려면?

- Lambda함수가 Private Subnet에 접근할 수 있게 허용해야함.

- Lambda함수는 VPC Configuration(Private Subnet ID와 Security Group ID)를 가져야함.

- Lambda가 Private Subnet으로부터 사용 가능한 IP주소를 부여해주는 ENI(Elastic Network Interface)를 셋업함.

Lambda VPC 실습

Lambda 생성 후 VPC 활성화

1) VPC 활성화 후 VPC 선택

2) 서브넷 선택 (2개 이상) → Lambda의 고가용성 실행, 한 쪽 지역에서 서버다운이 생겨도 다른 지역에서 백업 가능.

3) 보안그룹 선택

lambda 역할 확인

구성 → 권한 탭에서 실행역할 확인.

Lambda의 VPC Access 권한이 자동생성 된 것을 볼 수 있음.

[AWS] Lambda Version

공기반 코딩반 — Thu, 8 Jun 2023 11:10:10 +0900

Lambda Version

- Lambda Function을 처음 만들면 Version은 $LATEST가 됨

- 변경된 Lambda Function을 올리면 해당 버전이 $LATEST가 됨

- Version은 Alias를 부여될 수 있음.

- 다른 Lambda Version을 가질 수 있음.

- 다른 Lambda Version은 다른 ARN이 존재함.

- Alias는 다른 Version으로 변환 시 사용됨.

별칭 사용, ARN 확인

새로운 Version Upload

Lambda 버전 관리 실습

Lambda 생성 후 코드 업로드, 우측 상단 작업 탭에서 새 버전 발행 클릭

버전 1 발행

버전 별로 ARN을 확인할 수 있다.

버전 1의 별칭을 생성한다.

※ 버전 2도 마찬가지로 별칭을 STAGE로 생성한다.

두 개의 버전을 확인할 수 있다.

[AWS] Step Function

공기반 코딩반 — Thu, 8 Jun 2023 10:17:33 +0900

Step Function

- 대표적으로 Lambda 함수가 있음.

- Serverless 어플리케이션을 구축할 때 시각적 인터페이스를 제공

- 일련의 Step으로 Serverless 어플리케이션을 관리할 수 있음.

- Step은 Business 로직에 의해 순서대로 실행됨.

- Step의 output은 또 다른 step의 input이 될 수 있음.

- Step 마다의 로그를 기록하여 디버깅하기 용이함.

Amazon Step Functions

상태 머신 생성시 샘플 프로젝트 선택

하단의 작업 폴러 예제 선택

하단에 코드와 생성이 될 그래프를 보여줌

- X 초 동안 기다리기 (여기서는 60초)

Step Funcitions 예제 실행시 그래프

- 작업이 다 완료된 경우

작업이 다 완료된 그래프

- 로그 확인

- 작업에 대한 입출력 정보 확인 가능

우측칸에서 입출력 정보 확인 가능

[AWS] Serverless

공기반 코딩반 — Thu, 8 Jun 2023 09:53:17 +0900

Serverless

서버를 관리할 필요 없이 코드를 클라우드에서 실행

Serverless 이점

1) 빠른 배포

2) 확장성

3) 비용절감 (이벤트 기반 동작)

Serverless 종류

Lambda, SQS, SNS, API Gateway, DynamoDB, S3