전화번호부 사이트 크롤링¶

Q: 전화번호부 사이트를 검색하여 목록을 추출하고자 하는데, 데이터 전달이 되지 않습니다.
A: 데이터를 인코딩 해주세요. 국내 사이트의 경우 종종 EUC-KR로 인코딩된 데이터만 수용하도록 설계된 경우가 있습니다.

전화번호부 사이트¶

http://www.isuperpage.co.kr

지역과 범주를 입력하고 검색하면,

[FAQ] DataFrame 행(row) 정보를 추출하여 컬럼으로 합치기¶

크롤링 데이터 가공과 결측치 처리 예제 (Daum 부동산 예제)

Q: DataFrame의 두 행(row)이 하나의 데이터를 이룹니다. 짝수 행의 데이터를 추출하여 컬럼으로 만드려면 어떻게 하나요?
A: DataFrame.ix[] 인덱싱을 사용하여 짝수행 전체를 얻어 가공하고, pd.concat()을 이용여 합칠 수 있습니다.

네이버 파이낸스 - 재무제표 크롤링¶

2016 이승준 fb.com/plusjune¶

네이버 파이낸스 크롤링¶

파이썬으로 데이터 크롤링 할 때 requests 와 BeautifulSoup 를 많이 사용한다. 표(table)로 정리된 데이터의 경우 pandas의 read_html()을 활용하면 간편하게 크롤링 할 수 있는 경우가 많다. 이 글에서는 네이버 파이낸스의 페이지 구조를 파악하고, 재무제표 정보를 pandas DataFrame으로 읽어 처리하는 방법을 살펴본다.

[FAQ] Jupyter Notebook 실행시 토큰을 입력하라고 나옵니다¶

Q: Jupyter Notebook 실행시 토큰 혹은 패스워드를 입력하라고 나옵니다.
A: "jupyter notebook list" 명령하여 표시되는 토큰을 입력하거나 프로파일을 생성하여 패스워드를 설정합니다.

FAQ - pip로 패키지 설치가 되지 않습니다¶

Q: pip로 패키지 설치시, 계속 No module named 'packaging' 에러를 내며 설치가 되지 않습니다
A: pip를 업그레이드 하십시오. "sudo pip3 install -U pip"

Jupyter Notebook 키보드 바로가기¶

Jupyter Notebook의 몇가지 키보드 바로가기 조합을 익혀 두면 훨씬 빠르게 그리고 편리하게 사용할 수 있다.¶

명령모드와 편집모드¶

Jupyter Notebook 키보드 입력에는 두 가지 모드가 있다.

명령모드(Command mode): 노트북의 셀을 편집 (셀에 회색 테두리)
편집모드(Edit mode): 셀에 있는 텍스트나 코드를 편집 (셀에 녹색 테두리)

Esc키를 누르면 명령모드로, Enter를 누르면 편집모드로 상호전환 된다. 명령모드에서 J, K 키로 아래/위로 이동 할 수 있다 (페이스북, 트위터, Google+ 같은 SNS 서비스에서도 J, K키를 써서 아래/위로 이동할 수 있다. 의외로 편리하다).

처음 접했다면 명령모드와 편집모드를 나누는 것이 다소 불편해 볼 수 있으나 손에 익으면 훨씬 조작이 빠르다. 마우스나 화살표키로 손을 이동하지 않아도 되기 때문이다. ~~유닉스 vi (혹은 GNU vim) 에디터에 익숙한 사람들은 바로 이해할 수 있을 것이다.~~