今回、社内目標でPython学習を目標として設定し、学習した。

スクレイピングの技術が気になったので、まとめることにします。

スクレイピングとは

スクレイピングとは、webサイトから任意の情報を抽出する技術のことを指します。

スクレイピングすることで、web上の情報を自動で収集します。

しかし、web上で公開されている情報であればなんでもデータベースに格納できるということではありません。

下記のような技術が備わっております。

・データベースに格納するためには、形式を変更させる
・広告などの不要な情報を排除し、必要な情報を取り出す為のサイトの構造解析
・ログインが必要なページにアクセスする技術