Study All

2022.07.29 - [프로그래밍] - Python DataFrame format 자유롭게 이용하기(indexing , slicing) Python DataFrame format 자유롭게 이용하기(indexing , slicing) Python에서 DataFrame이라는 format은 data를 가공하는데 매우 유용하게 사용된다. 다만 그 형식이 list와 비교했을 때 생소한 부분이 있기에 방법에 대해 숙지하고 있어야 될 필요가 있다. 이번 글은 해 jun-study.tistory.com 이전 글을 쓰면서 한번 정리했다고 하나 DataFrame을 계속 사용하다 보니 내가 생각했던 것과 다른 부분이 있어서 다시 한번 정리하려 한다. 우선 DataFrame은 Excel로 부터 가져온다고 하고 엑셀 내용은 ..

프로그래밍 2022. 8. 1. 21:26

Python에서 DataFrame이라는 format은 data를 가공하는데 매우 유용하게 사용된다. 다만 그 형식이 list와 비교했을 때 생소한 부분이 있기에 방법에 대해 숙지하고 있어야 될 필요가 있다. 이번 글은 해당 내용을 정리해 보려 한다. 우선 예시가 필요하기에 nasdaq.com 에 있는 일부 excel data를 이용해서 다뤄보려 한다. 엑셀에는 아래와 같은 내용이 들어 있다. 해당 data를 DataFrame 형식으로 읽어 다양한 방법으로 각각의 data의 접근하는 것을 정리해보려 한다. 1. excel data를 DataFrame으로 읽어 온다. 2. Column selection Data 중 특정 column (열) 의 data를 이용하고 싶은 경우가 있을 것이다. 그때는 test["..

프로그래밍 2022. 7. 29. 21:50

파이썬 코딩을 하다보면 항상 파일을 읽어와 data 가공을 해야 되는데 항상 그 방법이 헷갈려 계속 찾아본다. 그래서 오늘은 해당 방법을 정리하고 공부하는 차원에서 파일 읽는 것을 총 정리 해보려 한다. 1. with open 구문으로 close 없이 파일 읽기 with open("input.txt") as file: for line in file: print(line) 위와 같이 사용하면 txt file을 한줄씩 읽는다. 이 방법은 csv file도 마찬가지로 한줄씩 읽는다. 2. csv, excel DataFrame 형식으로 읽어 들이기 내가 이전에 쓴 글을 본다면 DataFrame 형식이 다만 복잡해 보이기 위해 쓰는 것이 아니라 대용량의 data를 가공하는데 매우 효율적이라는 사실을 알 것이다. ..

프로그래밍 2022. 7. 28. 22:20

2022.07.27 - [프로그래밍] - Python으로 Data 분석 하기 - 1편 (Series, DataFrame) Python으로 Data 분석 하기 - 1편 (Series, DataFrame) Python을 사용하는 가장 큰 이유 중 하나는 방대한 data를 가공 처리 해서 내가 원하는 data로 보기 쉽게 정리하기 위함이다. 이번 글은 Python으로 Data를 분석하기 위한 문법을 정리해 보려 한다. Python jun-study.tistory.com 이전 글에서 보았듯이 user guide 문서를 기초해 공부한 내용을 정리 해보려 한다. Series에는 몇가지 특성으로 정리해 두었다. 그 중에 내가 사용할만한 내용은 아래와 같다. 1. Series is ndarray-like 이 뜻은 Se..

프로그래밍 2022. 7. 28. 20:55

Python을 사용하는 가장 큰 이유 중 하나는 방대한 data를 가공 처리 해서 내가 원하는 data로 보기 쉽게 정리하기 위함이다. 이번 글은 Python으로 Data를 분석하기 위한 문법을 정리해 보려 한다. Python의 장점은 많은 사람들이 만들어 놓은 Library를 사용할 수 있는 것이다. 오늘 글은 Pandas라는 Library의 Series와 DataFrame에 관해 다뤄보려 한다. (해당 Library는 많이 사용되는 Library이니 사용하는 방법을 외워둬도 좋을 것이다. 나도 외우기 위해 해당 내용을 정리하는 중이다. ) 아래 글은 pandas의 user_guide를 정리해 작성한 글이다. https://pandas.pydata.org/docs/user_guide/dsintro.ht..

프로그래밍 2022. 7. 27. 21:42

pandas 활용해서 data를 다양하게 처리하는 방법을 알아보자. data가 적다면 눈으로 확인해도 쉽게 구분할 수 있지만 data의 양이 방대해 진다면 python을 활용해서 쉽게 다룰 수 있다. python에서도 pandas를 활용하면 더 쉽게 data를 정리할 수 있다. 먼저 data의 내림차순 / 오름차순을 정리해 보자. data는 nasdaq 종목을 가지고 시총에 대해서 정리해 보려 한다. pandas에서 sort_values를 사용하면 된다. pandas는 library이고 sort_values는 해당 library에 있는 function 이라고 생각하면 된다. code는 아래와 같다. market_big = df.sort_values(by = ['Market Cap'],ascending =..

프로그래밍 2021. 12. 17. 21:09

Python의 장점은 Library를 사용하는 것이다!! 파이썬의 장점은 다른 사람들이 만들어 놓은 수많은 Library를 활용해서 다른 code를 쉽게 짤 수 있는 것이다. 나는 지금 google spread sheet를 사용해서 미국주식 data를 다뤄보려고 하고 있다. 그래서 사용가능한 Libray를 찾아보는데 내가 지금 사용하는 Pycharm에 해당 library가 없었다. 그래서 어떻게 다운로드 받는지 정리해 보려 한다. 우선 다운로드로 검색하면 아래와 같이 하라고 나온다. pip install gspread pip install --upgrade oauth2client 해당 명령어는 아래에 terminal에 쓰면 된다. (아래부분에 Terminal을 선택해서 사용하면 된다)

프로그래밍 2021. 12. 11. 21:13

1. 웹 크롤링이란 웹사이트 html에서 필요한 정보를 데이터베이스로 수집해 오는 작업이다. 2. BeautifulSoup 라는 Library를 이용해 쉽게 크롤링을 할 수 있다. 1. 웹 크롤링이랑 웹사이트(html)에서 필요한 정보를 데이터 베이스로 수집해 오는 작업이다. 정의는 개인적으로 한 것이므로 달라질 수 있다. 모든 웹사이트는 html로 구성되어 있다. 각 웹사이트의 html은"F12" 버튼을 통해 확인 할 수 있다. 크롤링을 통해 웹사이트에 원하는 데이터를 가져오기 위해서 html을 이용한다. html은 웹사이트의 모든 data들이 있기 때문에 text로 받아서 내가 원하는 data를 추출할 수 있다. 2. BeautifulSoup 라는 Library를 이용해 쉽게 크롤링을 할 수 있다. ..

프로그래밍 2020. 3. 30. 21:02