Python5 Pandas 2.0 : 더욱 빨라진 pandas / 결측치 처리 형 변환 없이! (1) !pip download pandas==2.0.3 1. 데이터 로드 속도 및 메모리 줄이기 약 850KB 짜리 데이터 Load 속도 줄이기 engine 로 Load속도 높이고, 로 Load속도 높이고, dtype_backend 로 메모리 줄이기 import pandas as pd %timeit df = pd.read_csv("Data/Ford Motor Company.csv") # 6.49 ms ± 215 µs per loop (mean ± std. dev. of 7 runs, 100 loops each) %timeit df_arrow = pd.read_csv("Data/Ford Motor Company.csv", engine='pyarrow', dtype_backend='pyarrow') # 2.83 .. 2023. 7. 3. [Python/graphs] plotly.express 에서 그래프 크기 조절하기/plotly figure size 조절 매개변수 width, height로 조절 가능 px.scatter(data, x = 'average_montly_hours', y = 'satisfaction_level', width=800, height=400) [OUTPUT] px.box(data, x = 'number_project', y = 'satisfaction_level', width=400, height=400) 2023. 5. 11. [데이터/Python] # 3 비표준화계수란 [ 데이터 # 1 ] & [ 데이터 # 2] 에서 해결하지 못한 부분이 있었는데 바로 " 비표준화 계수 " 이다 말 자체가 생소하고 무엇을 의미하는 것인지 찾아봐도 뭔가 어려운 용어로 나와있어서 구하지 못했는데 결론적으로 말하자면 Y = AX + b 에서 A를 구하는 것 x값과 y값의 관계에 대해 말해줄 수 있는 것인데 만약 A값의 부호가 ➕ 일 때, X 의 값이 ⬆️ 이면 Y 의 값도 ⬆️ 반대로 부호가 ➖ 일 때는 , X 의 값이 ⬆️ 일 때 Y 의 값은 ⬇️ 이렇게 된다는 것은 잘 알 수 있는데 여기서 X는 독립변수 이고 Y는 종속변수에 해당한다. 사실 아직도 굳이 이 그래프에 이게 필요할 까 싶긴 하지만 일단 구하긴 구했다. import torch import torch.optim as optim.. 2020. 8. 8. [데이터/Python] # 2 산점도 행렬 이번에는 산점도 행렬을 만들어 볼 것이다 그림에는 나와 있지 않지만 가로 세로에 각 데이터의 x축의 평균과 표준편차 y축의 평균과 표준편차를 넣어줄 것이다 [ Import 라이브러리 ] import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns plt.rcParams['figure.figsize'] = [12, 8] # figure size 고정 [ 데이터 가공 ] dino_data = pd.read_csv('dino12.csv',index_col = 0) dino_data.drop('dino_X',axis = 1,inplace = True) dino_data.drop('dino_Y',axis = .. 2020. 8. 1. [데이터/Python] # 1 데이터 저널리즘이란 데이터 저널리즘이란? -창조물을 뒷받침하기 위해 데이터를 수집, 갈무리, 조직, 분석, 시각화, 출간하는 행위 -데이터 분석을 통해 새로운 사실을 찾아내어 보도하는 것 -거대 데이터를 수집하여 분석하고, 현상과 사건을 좀 더 심층적이고 과학적으로 분석하는 것 주어진 csv 파일을 가지고 저 그림을 그려볼 것인데 B = {(비표준화 계수가 들어갈 자리)} 지만 비표준화 계수를 어떻게 구하는지 아무리 검색해봐도 이해를 못해서 일단 빼놓자 [ Import 라이브러리 ] import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns plt.rcParams['figure.figsize'] = [12, 8] rc.. 2020. 7. 31. 이전 1 다음
