공돌이공돌이

아래 예제를 이용해 e1 열의 데이터는 15보다 커질때 시점의 name 데이터를 가져오고, e2 열의 데이터 150 보다 작아질때의 name 값을 가져와보자. 1.예제 준비하기 1) csv 파일을 준비한다. 2) e1, e2 데이터는 데이터가 올라갔다가 다시 떨어지는 포물선 데이터이다. 3) e1 데이터는 15 기준으로 상승할때, e2 데이터는 150기준으로 하락할때 시점의 앞열의 name 데이터를 가져온다. 2. 코드 작성하기 1) 상승/하락, 이상/이하 조건에 맞으면 값을 3000으로 하는 데이터 열을 각각 추가해준다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 ..

https://gongdolgongdol.tistory.com/190 python(vscode)/dataframe min max 구하기/원하는 범위만 계산하기 csv 파일을 데이터로 불러오고 min max 를 구해볼텐데 내가 원하는 부분의 데이터만 가지고 할 수 있도록 해보자. 1. 예제파일 준비 1) 아래와 같이 예제 파일을 준비한다. 2. 코드작성 1) 아래와 같이 gongdolgongdol.tistory.com 1. 예제파일 만들기 1) 앞서 csv 파일로 max, min 구했던 자료 기준으로 진행 (위 링크된 글 참고) 2) max, min 값을 엑셀파일을 만들어 저장해보자. - 아래 딕셔너리 값을 엑셀에 저장할 것이다. 2. 코드작성 1) 코드중 윗부분은 앞 자료와 동일하다(위 링크된 글 ) 2..

csv 파일을 데이터로 불러오고 min max 를 구해볼텐데 내가 원하는 부분의 데이터만 가지고 할 수 있도록 해보자. 1. 예제파일 준비 1) 아래와 같이 예제 파일을 준비한다. 2. 코드작성 1) 아래와 같이 코드를 작성한다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 import numpy as np import pandas as pd #1. 데이터 가져오기 filename = r"C:\Users\Documents\test2.csv" #파일명 작성 data = pd.read_csv(filename) #data 변수에 엑셀 데이터를 넣는다 data1 = data.astype(np.float16) #용량을 ..

시간 지연시키는 코드를 작성해보자. 시간( choose_time )을 바로 timesleep에 넣으면 안되고, 초로 계산해서 넣어줘야한다. (이거 확인하려고 코드를 아래와 같이 작성 했다) 일반적으로 지연은 time.sleep(지연시간) 만 작성하면 된다. 1. 코드작성 1) 현재시간에서 1분지연하도록 해보자. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 from datetime import datetime import time def time_delay(): now = datetime.now() print("현재시간 = {}".format(now)) choose_time = now.replace(hour=0, minute=1, seco..

현재시간부터 목표시간까지 남은시간 계산하는 코드를 작성해보자. 1. 코드작성 1 2 3 4 5 6 7 8 9 10 11 12 13 14 from datetime import datetime def time_calculation(): now = datetime.now() print("현재시간 = {}".format(now)) choose_time = now.replace(hour=19, minute=0, second=0, microsecond=0) print("특정시간 = {}".format(choose_time)) print("남은시간 (현재시간 - 특정시간) = {}".format(choose_time-now)) time_calculation() Colored by Color Scripter cs 2...

dask와 pandas csv 파일 읽어오는 시간을 비교해보자. dask가 병렬처리를 해서 빠르다고하는데 비교해보자. 0. 예제 파일 csv 을 준비한다. 1) 파일이 작은거 밖에 없다. 작은거로 해보자. 1. 코드작성 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 import time import dask.dataframe as dd import pandas as pd filename = r"C:\Users\Documents\test1.csv" #파일명 작성 #1. dask 활용 데이터 만들기 start = time.time() data = dd.read_csv(filename) #data 변수에 엑셀 데이터를 넣는다 col1 = data.columns # 첫번째 칼럼을 c..

1. 코드작성 1) 예제 csv 파일은 일전에 만들어놓은것을 사용 1 2 3 4 5 6 7 ## csv 인코딩 확인하기 import chardet filename = r"C:\Users\Documents\test1.csv" #파일명 작성 with open(filename, 'rb') as rawdata: result = chardet.detect(rawdata.read(1000)) # check what the character encoding might be print(result['encoding']) Colored by Color Scripter cs 2. 결과

https://gongdolgongdol.tistory.com/165 python(vscode)/csv파일로 db 만들기/데이터 프레임 db 만들기 요즘 csv 파일 데이터가 커지면서 데이터프레임으로 가져오는 시간이 오래걸린다... db에 데이터를 넣어놓고 db 에 저장된 데이터이면 가져와서 사용해보자. db 의 data를 가져오는 시간과, csv에서 gongdolgongdol.tistory.com 0. 우선 위 데이터 프레임을 db 테이블로 가져온 글을 참고하자. 1) csv 에는 없던 index 가 db 파일에는 생성된것을 볼 수 있다. -그러므로 db에서 다시 데이터 프레임으로 올때 index 열을 지워줘야 완전히 같게 돌아온다. 참고. 1. 코드작성 1) 13번째 줄이 index를 지워주는 열이다..

요즘 csv 파일 데이터가 커지면서 데이터프레임으로 가져오는 시간이 오래걸린다... db에 데이터를 넣어놓고 db 에 저장된 데이터이면 가져와서 사용해보자. db 의 data를 가져오는 시간과, csv에서 가져오는 시간비교를 해봐야 겠다. 우선 csv 파일에 있는 데이터들을 데이터 프레임으로 가져온 후 db에 저장해 보자. 0. csv 파일 준비 1) 글 맨아래 3.참고 항목에 적혀있는 예전에 사용했던 데이터를 가져와 쓰겠다. 1. 코드작성 1) 12번째줄 to_sql 사용시 replace 로 작성되어 데이터가 다시 작성된다. 1 2 3 4 5 6 7 8 9 10 11 12 import pandas as pd import sqlite3 # csv 일부가져오기1 file_name = 'edit_csv_ex..

1. db 준비하기 1) 우선 사용할 db 파일을 준비한다. 2) 파일명은 : DB_create, 그안에 테이블 test를 만들어 준다. 2. 코드작성 1) DB_create 파일안에 test 테이블이 있는지 확인하자. 2) 아래 코드를 돌리면 파일이 없더라도 DB_create 생긴다. table 은 없을 것이다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 import sqlite3 dbname = "DB_create" tablename = "test" with sqlite3.connect('{}.db'.format(dbname)) as con: cur = con.cursor() sql = "SELECT name FROM sqlite_master WHERE type='table..