20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)

Description
第3回東京Webスクラッパーのライトニングトークで発表した資料。 スクレイピングの実演した時のサイトとJavascriptコードは下記を参照 https://www.facebook.com/note.php?note_id=767355399997255

Please download to get full document.

View again

of 25
All materials on our website are shared by users. If you have any questions about copyright issues, please report us to resolve them. We are always happy to assist you.
Information
Category:

Technology

Publish on:

Views: 22 | Pages: 25

Extension: PDF | Download: 0

Share
Transcript
  • 1. リサーチ向け ブラウザだけでスクレイピング 第3回Webスクレイピング勉強会@東京 2014.10.26 浅野弘輔 (あさの ひろすけ) http://twitter.com/hirosuke_asano
  • 2. 自己紹介
  • 3. 浅野 弘輔とは(自己紹介) •株式会社ホットリンク所属。 •ネット上のクチコミを大量に集めて分析するシステ ムの開発や、ソーシャルデータの活用の企画・研究 をしています。 http://twitter.com/hirosuke_asano http://www.hottolink.co.jp/ 趣味:イラスト描き 自作のアイコン→
  • 4. リサーチでよくある風景
  • 5. 「AKB総選挙ってやっているけど、 ちょっとメンバーの口コミ調べてみてくれる?」 「了解っス」
  • 6. 「まずはメンバーのリスト作らないと・・・」
  • 7. 「多いな・・・」 公式サイトから
  • 8. 「せっせ、せっせ・・・」 カチ カチ コピペ
  • 9. そんな作業を救うのが Webスクレイピング
  • 10. そんな作業を救うのが Webスクレイピング なのだが・・・
  • 11. 開発環境のインストールしなきゃ・・・ モジュールの依存性が・・・ サイト構造解析が・・・ 文字コードが・・・
  • 12. 開発環境のインストールしなきゃ・・・ モジュールの依存性が・・・ サイト構造解析が・・・ 文字コードが・・・ 日常的にプログラミングしてない 人にはかなり敷居が高い・・・
  • 13. ブラウザがあれば なんとかなる
  • 14. 用意するもの FireQuery テキストエディタ Add-ons
  • 15. 実演
  • 16. 一回やればいい アドホックなリスト作成に 最適
  • 17. その他の利点
  • 18. Ajaxで要素が 読み込まれるページ HTMLをwgetしてテキスト解析・・・ができない
  • 19. 認証があるページ APIでも用意されてないと自動するのが難しい
  • 20. 実演
  • 21. Webスクレイピングの 民主化を
  • 22. 勉強する必要のある知識 •Javascriptの基本的なプログラミング •CSSのセレクタでのHTML要素指定 •みんな大好きjQuery
  • 23. 勉強する必要のある知識 •Javascriptの基本的なプログラミング •CSSのセレクタでのHTML要素指定 •みんな大好きjQuery おせじにも簡単とは言えないけど、 アプリやシステム作るのに比べたら楽 「Excelでマクロ組めますよ」くらいのノリで
  • 24. Webスクレイピングを 一番必要としている人に 届けたい
  • 25. ありがとうございました
  • We Need Your Support
    Thank you for visiting our website and your interest in our free products and services. We are nonprofit website to share and download documents. To the running of this website, we need your help to support us.

    Thanks to everyone for your continued support.

    No, Thanks