pd.merge(dfA[['col1','col2']], dfB[['col1','col2']], on='key') 2개의 데이터프레임에서 원하는 칼럼만 추출하여 결합 df = pd.merge(df,df2[['Key_Column','Target_Column']],on='Key_Column', how='left') 출처 : https://stackoverflow.com/questions/17978133/python-pandas-merge-only-certain-columns pd.merge(how='left') 결합하는 방법의 종류. 총 4가지 방법이 있음 result = pd.merge(user_usage, user_device[['use_id', 'platform', 'device']], on='use_i..

dtypes 데이터프레임에 각 칼럼들의 데이터 형태를 조회 df.dtypes 출처 : https://pbpython.com/pandas_dtypes.html pd.to_datetime 문자열 정보를 날짜 형태로 변경 raw_data['Mycol'] = pd.to_datetime(raw_data['Mycol'], format='%d%b%Y:%H:%M:%S.%f') 또는 df[["col1", "col2", "col3"]] = df[["col1", "col2", "col3"]].apply(pd.to_datetime) 출처 : https://stackoverflow.com/questions/26763344/convert-pandas-column-to-datetime rename(columns={'A':'B'})..

skiprows 원하는 행부터 불러올 때. 아래 예제는 5줄까지 무시하고 다음 행부터 불러옴 pd.read_csv('../input/sample_submission.csv',skiprows=5,nrows=10) 출처 : https://stackoverflow.com/questions/47917943/how-to-select-several-rows-when-reading-a-csv-file-using-pandas names 불러올 때 칼럼 이름을 지정한 이름으로 변경 d = pd.read_csv('test.csv', header=0, names=['NEW1', 'NEW2', 'NEW3'], usecols=['NEW2', 'NEW3']) 출처 : https://stackoverflow.com/question..

1절. 빅데이터의 이해 1. 빅데이터의 이해 1_1. 빅데이터의 정의 맥킨지의 정의 : 데이터의 규모에 중점. 빅데이터란 일반적인 데이터 관리 툴로 다룰 수 없을 정도로 거대한 규모의 데이터를 의미. IDC International Data Corporation : 분석 비용에 초점. 다양한 종류의 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처. 메이어-쇤베르거 & 쿠키어 : 통찰에 중점. 작은 크기의 데이터에서는 얻을 수 없었던 통찰이나 가치를 추출해 내는 일. 나아가 많은 분야에 변화를 가져오는 일 가트너 그룹 더그 래니의 3V Gartner Group Doug Laney : 빅데이터의 특징 양 Volume(데이터의 규모)..

1절. 데이터와 정보 1. 데이터의 정의 데이터라는 단어는 1646년 영국 문헌에 처음 등장. 라틴어인 Dare(주다)의 과거분사형으로 "주어진 것"이란 의미이다. 1940년 데이터는 추상적인 의미를 넘어 기술적이고 사실적인 의미를 가진다. 1_1 데이터의 정의 존재적 특성 - 객관적 사실 당위적 특성 : 추론, 예측 등을 위한 근거 1_2 데이터의 특징 정성적 데이터 : 언어, 문자 (회사 매출 증가) 정략적 데이터 : 수치, 도형, 기호 (나이, 몸무게 , 주가) 1_3 지식 [Tacit Knowledge 암묵지] : 학습과 경험을 통해 체화된 지식, 공유 어려움, 내면화 -> 공통화 필요. (김치 담그기, 자전거 타기) [Explicit Knowledge 형식지] : 문서나 매뉴얼처럼 형식화된 지식..

10년후의 일상 4차 산업혁명 기술이 바꾸어 놓은 미래의 비즈니스와 우리의 일상 한국생산성에서 4찬산업을 위해 오컴과 협력. 다양한 세미나를 진행하고 있으니 참고. --- 거리의 소멸 편석준 대표 소개. 4차산업이라고 해서 거창한 얘기가 나오느게 아님. 과거에 책을 많이 출간. 오컴에 대한 소개. - IT 내외부 세미나를 꾸준히 진행중. - 마이펀치라인 --- 공간 Tech 4차산업혁명에 대해 개인적으로 받아들일 필요가 있어. 미래창조과학부 발표자료. 국제적으로 불평등 문제가 심히진다는 예측 한국에서는 초혼 연령이 꾸준히 증가 -> 경제적 문제 . 구직자 대비 구인인원 감소. 이런 지표를 보았을 때 점점 경제적으로 힘들어지고 있다는 것. 노동생산성과 실질임금의 간곡 -> 이것도 점점 커지고 있어. 중국이..