python(vscode)/csv파일로 db 만들기/데이터 프레임 db 만들기

요즘 csv 파일 데이터가 커지면서 데이터프레임으로 가져오는 시간이 오래걸린다...

db에 데이터를 넣어놓고  db 에 저장된 데이터이면 가져와서 사용해보자.

db 의 data를 가져오는 시간과, csv에서 가져오는 시간비교를 해봐야 겠다.

 

우선 csv 파일에 있는 데이터들을 데이터 프레임으로 가져온 후 db에 저장해 보자. 

 

0. csv 파일 준비 

   1) 글 맨아래  3.참고 항목에 적혀있는 예전에 사용했던 데이터를 가져와 쓰겠다. 

 

1. 코드작성

   1) 12번째줄 to_sql 사용시 replace 로 작성되어 데이터가 다시 작성된다. 

import pandas as pd
import sqlite3
 
# csv 일부가져오기1
file_name = 'edit_csv_example'
df = pd.read_csv(file_name+".csv", skiprows=5, skipfooter=1)
print(df)
 
dbname = "makedb_csvfile"
with sqlite3.connect('{}.db'.format(dbname)) as con:
    df.to_sql(file_name, con, if_exists='replace')
 

 

2. 결과

  1) 우선 데이터 프레임을 출력하고, db 파일내 파일명으로된 테이블이 생성되었다. 

  2) 아래 테이블을 보면 index  항목이 생성되었다. 참고하자. 

데이터 프레임 출력

db 파일 내 테이블 확인

 

3. 참고

  -. csv 파일 가져오기

https://gongdolgongdol.tistory.com/156

python(vscode)/csv read/일부분 가져오기/부분데이터/read_csv/skiprows/nrows/pandas