# 외부 라이브러리 import
from bs4 import BeautifulSoup
import requests
import sys
import io

# 아톰에서 한글 에러 방지를 위한 선언.
sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding = 'utf-8')
sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding = 'utf-8')

# 제목과 좋아요 수를 반환할 함수 선언.
def get_inner(td_list):
  title = td_list[3].split('title="')[1].split('">')[0] # 제목을 얻어온다.
  star = td_list[3].split('star_number">')[1].split('</p>')[0] # 좋아요 개수를 얻어온다.
  return title, star

rank = 1 # 순위 계산을 위한 변수 선언.

for page in range(0, 10): # start - 1 ~ 901까지 반복.
        url = "http://www.podbbang.com/ranking?kind=monthly&ddate=2018-03&start={}" # 크롤링할 url의 start 값을 변경하기 위해 포멧으로 선언.
        req = requests.get(url.format(str((100 * page) + 1))) # 사이트 요청.

        # BeautifulSoup 함수를 이용해 html 문서 자체를 받아온다. 팟빵 사이트는 인코딩 문제 때문에 한글이 깨지므로, 데이터를 받아올 때 utf-8로 디코딩하는 작업이 필요하다.
        bs = BeautifulSoup(req.content.decode('utf-8', 'replace'), 'html.parser')

        # 클래스 속성이 tb_rank인 테이블 태그 (바로 tr 태그를 가져와도 된다.).
        # find 메서드는 id, class, html 요소를 통해 특정 태그 엘리먼트의 대한 값을 bs 객체로 반환한다.
        table = bs.find('table', class_ = 'tb_rank')

        # 가져온 테이블 태그 중에 모든 tr_tag 가져오기. - 하나의 행.
        # find_all 메서드는 파라미터를 구분자로 하여 리스트 형식으로 값을 반환한다.
        tr = table.find_all('tr')

        for idx in range(0, len(tr)): # tr 크기만큼 반복.
            td_list = str(tr[idx]).split('td') # 모든 td-tag 가져오기. - 하나의 열.

            title, star = get_inner(td_list)

            print(rank, title, star) # 값이 잘 추출되는지 확인한다.

            # 하나의 페이지의 크롤링이 끝났을 경우 다음 페이지의 시작 rank로 rank 값을 변경해준다. (팟빵 사이트는 종료 순위가 모두 다르기 때문에 처리가 필요.)
            if idx == (len(tr)-1):
              rank = (100 * (page + 1)) + 1
            else:
              rank += 1  

# 하나의 열의 여러개 td로 구성된 데이터 중 네번째 td에 제목이 포함되어 있다.
# 그 중, title="로 구분하여 리스트를 만들면 인덱스 1의 값이 제목을 포함하고 있다.  
# 그 중, ">로 구분하여 리스트를 만들면 인덱스 0의 값이 제목을 나타낸다.
title = td_list[3].split('title="')[1].split('">')[0]

# 하나의 열의 여러개 td로 구성된 데이터 중 네번째 td에 좋아요가 포함되어 있다.
# 그 중, star_number">로 구분하여 리스트를 만들면 인덱스 1의 값이 좋아요 수를 포함하고 있다.  
# 그 중, </p>로 구분하여 리스트를 만들면 인덱스 0의 값이 좋아요 수를 나타낸다.
star = td_list[3].split('star_number">')[1].split('</p>')[0]

from bs4 import BeautifulSoup
import requests
import sys
import io
from openpyxl import load_workbook

# 아톰에서 한글 에러 방지를 위한 선언.
sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding = 'utf-8')
sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding = 'utf-8')

# 제목과 좋아요 수를 반환할 함수 선언.
def get_inner(td_list):
  title = td_list[3].split('title="')[1].split('">')[0] # 제목을 얻어온다.
  star = td_list[3].split('star_number">')[1].split('</p>')[0] # 좋아요 개수를 얻어온다.
  return title, star


rank = 1 # 순위 계산을 위한 변수 선언.
total = 1 # 자동 증가 변수(row 증가용).

for page in range(0, 10): # start - 1 ~ 901까지 반복.
        url = "http://www.podbbang.com/ranking?kind=monthly&ddate=2018-03&start={}" # 크롤링할 url의 start 값을 변경하기 위해 포멧으로 선언.
        req = requests.get(url.format(str((100 * page) + 1))) # 사이트 요청.

        # BeautifulSoup 함수를 이용해 html 문서 자체를 받아온다. 팟빵 사이트는 인코딩 문제 때문에 한글이 깨지므로, 데이터를 받아올 때 utf-8로 디코딩하는 작업이 필요하다.
        bs = BeautifulSoup(req.content.decode('utf-8', 'replace'), 'html.parser')

        # 클래스 속성이 tb_rank인 테이블 태그 (바로 tr 태그를 가져와도 된다.).
        # find 메서드는 id, class, html 요소를 통해 특정 태그 엘리먼트의 대한 값을 bs 객체로 반환한다.
        table = bs.find('table', class_ = 'tb_rank')

        # 가져온 테이블 태그 중에 모든 tr_tag 가져오기. - 하나의 행.
        # find_all 메서드는 파라미터를 구분자로 하여 리스트 형식으로 값을 반환한다.
        tr = table.find_all('tr')
        try:
          wb = load_workbook('/Users/moonseongjae/testpb.xlsx') # 저장된 엑셀파일을 불러온다.

          ws = wb.create_sheet(title = '2018-03-pb') # 새로운 시트를 만든다.
          # 제목 작성.
          ws['A1'] = '순위'
          ws['B1'] = '제목'
          ws['C1'] = '좋아요'

          for idx in range(0, len(tr)): # tr 크기만큼 반복.
              td_list = str(tr[idx]).split('td') # 모든 td-tag 가져오기. - 하나의 열.

              title, star = get_inner(td_list)

              # 제목을 제외하고 row의 값에 각각 원하는 값을 할당.
              ws['A' + str(1 + total)] = rank
              ws['B' + str(1 + total)] = title
              ws['C' + str(1 + total)] = star
              # total 증가.
              total += 1

              # 하나의 페이지의 크롤링이 끝났을 경우 다음 페이지의 시작 rank로 rank 값을 변경해준다. (팟빵 사이트는 종료 순위가 모두 다르기 때문에 처리가 필요.)
              if idx == (len(tr)-1):
                rank = (100 * (page + 1)) + 1
              else:
                rank += 1
          wb.save('/Users/moonseongjae/testpb.xlsx') # 엑셀 파일에 저장한다.        
        finally:
          wb.close() # wb 객체 무조건 닫기.