공돌이공돌이

요즘 csv 파일 데이터가 커지면서 데이터프레임으로 가져오는 시간이 오래걸린다... db에 데이터를 넣어놓고 db 에 저장된 데이터이면 가져와서 사용해보자. db 의 data를 가져오는 시간과, csv에서 가져오는 시간비교를 해봐야 겠다. 우선 csv 파일에 있는 데이터들을 데이터 프레임으로 가져온 후 db에 저장해 보자. 0. csv 파일 준비 1) 글 맨아래 3.참고 항목에 적혀있는 예전에 사용했던 데이터를 가져와 쓰겠다. 1. 코드작성 1) 12번째줄 to_sql 사용시 replace 로 작성되어 데이터가 다시 작성된다. 1 2 3 4 5 6 7 8 9 10 11 12 import pandas as pd import sqlite3 # csv 일부가져오기1 file_name = 'edit_csv_ex..

csv 파일을 받다보면 쓸데없는 시간, 로그 등이 데이터 위에 남는경우가 있다. 필요한 부분의 데이터만 가져오도록 해보자. 1. csv 파일 준비 -> 아래에서 필요한부분만 가져오도록 할것이다. -> csv 파일명은 edit_csv_example.csv 2. 코드작성 1) 첫번째 출력은 다섯줄(행)을 스킵하고 2줄을 가져온다. 2) 두번째 출력은 앞에서부터 5행 스킵하고, 맨뒤에서부터 1행 스킵하여 데이터를 가져온다. 1 2 3 4 5 6 7 8 9 10 import pandas as pd # csv 일부가져오기1 df = pd.read_csv('edit_csv_example.csv', skiprows=5, nrows=2) print(df) # csv 일부가져오기2 df = pd.read_csv('edi..

dataframe 비어있는지 확인하는 방법 정리 1. 코드작성 1 2 3 4 5 import pandas as pd df_empty = pd.DataFrame() # 데이터 프레임 비어있는거 생성하기 print(df_empty.empty) # 비어있으면 true 출력 cs 2. 결과 1) 비어있으므로 true 가 출력된다.

지난번에 엑셀데이터를 리스트화 한적이 있는데 그래프 그리려고 했던것이었다. pandas라는 패키지 이용하면 아주 간단히 그래프를 그릴수 있다. 1. 예제 활용할 excel 파일을 준비한다. -. data 중 data1 만 데이터를 그릴것이다. 1에서부터 9까지의 데이터 2. 코드를 작성한다. -. 엑셀 데이터의 첫번째 줄만 그래프를 그려보자 import pandas as pd #엑셀 파일내 데이터를 가져오기위해 정의 import matplotlib.pyplot as plt #데이터 그래프 그리기 위해 정의 import numpy as np filename = r"C:\Users\lg\Downloads\test1.xlsx" #파일명 작성 data = pd.read_excel(filename) #data 변..