PythonでWebスクレイピング:urllibとBeautifulSoupでページ情報を取得する

2018/2/27

Shinichiro Sakamoto

広告

Python3でwebスクレイピングする方法を解説します。BeautifulSoupというモジュールをあらかじめインストールしてください。

pip3 install beautifulsoup4

まとめ

  • urllib.requestのurlopenでサイトにアクセスする
  • BeautifulSoupでHTMLを解析する
  • タイトルなどの文字列を取得する

入力

from urllib.request import urlopen
from bs4 import BeautifulSoup

url = 'http://www.irohabook.com/'
html = urlopen(url)
soup = BeautifulSoup(html, 'html.parser')
title = soup.title.string
print(title)

出力

Irohabook|中学生、高校生、大学生のための学習サイト

このサイトのトップページにアクセスし、タイトルを取得しています。

注意

Python2系はurllib.requestでなくurllib2を使います。


Warning: Invalid argument supplied for foreach() in /home/irohakasa/irohabook.com/public_html/wp-content/themes/child/single.php on line 125

広告

広告