禁断のツール成長期待！MyremixのWebスクレイピングで、RSS全文配信同盟に強制参加？
by redgasuki
YahooPipesにかなり似た国産マッシュアップツールMyremix。
mixiやはてなにも対応–日本発のマッシュアップツール「Myremix」
http://design-develop.net/web/myremix.html
「はてな」、「mixi」や「楽天」に対応しただけかと思いつつ、
一応試してみるかと登録。
という印象に早変わり
その印象を変えたのが、Scrapeという機能です。
いわゆるWebスクレイピングという技術で、RSSで配信していない情報でもWEBからデータとして引っ張り出してしまう・・・
これがWEBサービスで提供されるわけです。
もちろん今までも、WWW::MechanizeやPlaggerを使うといった方法があるわけですが、いずれもプログラミングできないと使いこなすことは出来ません。
Web-Harvestのような専門のツールを使えば、かなり敷居は下がりますが、常に監視するといった手段には個人ベースでは難しいと思います。
ところが、Myremixは複雑な処理は出来ないにしても、簡単かつ監視を常駐化できる点がすばらしい。
F.Ko-Jiの「一秒後は未来」さんのlivedoor Readerでアメブロを完璧に全文配信にするGreasemonkeyスクリプト的なこともできます。
「Yahoo!トピックス(本文付き) by takuyaさん」を例に見てみましょう
（takuyaさんが開発の方だと思い、勝手にお借りしました。違ってたらごめんなさい）
Yahoo!ニュース トピックストップのフィードは通常ですと、タイトルしか配信されません。
http://dailynews.yahoo.co.jp/fc/rss.xml
ところが、Myremixを使うと、本文も取得できます（1件のみ）
pipesの設定画面はこちら、YahooPipesとそっくりです（おそらく意図的）
ソースからScraperを選んで設定します
Scrapeで使うXPATHをもとめるための補助ツールもあります。
http://dailynews.yahoo.co.jp/fc/rss.xml入力
スクレイピングした場所をマウスで選択（赤枠）
本文取得のためのXPATHを生成します。
ループや条件判断できなかったり、 WEBスクレイピングツールとしては、いまのところ不完全ですが、一般の人に開放したという事実を評価しつつ、今後開発に期待したいです。
Popularity: 17 %
この記事のお役立ち度を評価してください
(まだ評価されていません)
Loading ...ブックマークの追加はこちらから、どうぞ
スクレイピングとWebAPI…
WebAPIをいろいろ作っている。
公開中なのが、カロリー計算、と、クイズAPI
野良APIだけど、今後、このドメインはずっと継続していくつもりなので、きちんと (more…)
hi
kmsh80bf4ss3qgm1
good luck
hi
kmsh80bf4ss3qgm1
good luck