にしし ふぁくとりー(西村文宏 個人サイト)

Presented by Nishishi via Movable Type. Last Updated: 2015/09/22. 13:23:59.

インフラなしで検索サイトが作れる!?

Web2.0 BOOKという本を今読んでます。それに書いてあって驚いたんですが、Alexaという検索サイトでは、検索サービス構築のためのインフラとデータそのものが一般に公開されているのですね。GoogleもYahoo!も、検索結果を利用できるAPIを公開していますが、Alexaの場合はそうではなく、検索サービスを構築するために必要なものをWebサービスとして提供しています。

Alexa Web Search Platform

ネット上にある情報を検索するシステムというのは、大学や研究機関でいろいろ研究されてると思います。で、仮にGoogleなどを超えるすばらしい検索アルゴリズムが開発できたとしても、実際に検索サイトを運用してみるには、大きなインフラ(帯域と容量)が必要です。

たとえば、ネット上に存在する莫大なデータをクロール(巡回)して取ってくるためには、広帯域な回線が必要です。さらに、取ってきた何テラバイトというデータを保存するストレージが必要です。当然、検索サービスを継続して提供するには、そのインフラを継続して稼働させ続ける必要があります。

たとえ、すばらしい検索アルゴリズムができあがったとしても、これらのインフラを用意するのは経済的にも簡単ではありません。だから、検索サイトを立ち上げるのは難しいのですよね。
そんな問題を解決するのが、Alexa Web Search Platformです。

Alexa Web Search Platformでは、Alexaのクローラがウェブ上から集めてきた300テラバイトものデータ(2ヶ月分)を自由に利用できるようです。そのデータを使って自分の望む処理を行わせるのにも、Alexa側のCPU資源が使えるのだとか。

これ、すごいですよね。検索アルゴリズムを研究開発してる研究者は、アルゴリズムを考えてそのプログラムさえ書けば、他に必要なインフラはAlexaに頼ることで、検索サービス環境が整っちゃうわけですよ。^^;

もちろん、タダで利用できるわけではないのですが、料金はかなり現実的な料金だと思います。年額課金で、Alexa内のストレージ1GBにつき1ドル。データ処理50GBにつき1ドル。総額いくらかかるかはどんなモノを作ったかに寄りますけど、インフラを自前で用意するのと比べれば、遙かに低予算で済みますよね。

これはすごいなあ…と本読んでて驚きました。

Alexaは検索サイトを運用する会社で、Amazonの子会社。日本では検索サイトを提供していないのですけど、Alexa Web Search Platformの(解説の)日本語版ページを作ってくれないかな…。^^;;; Users Guideにすんごい量の解説があるように見えるので、これが日本語で提供されてたらとっても嬉しいんだけど。^^;;;

Alexa Web Search Platform の衝撃 - 誰もが検索サービスに参入できる(@秋元@サイボウズ研究所プログラマーBlog)

コメント

コメント数: 0件

コメント投稿欄 この日記に対するコメント投稿を歓迎します。

保存しますか?



※本文中にURLは書けません。(書くと投稿が拒否されますのでご注意下さい。)

※投稿内容は、実際にページ上に掲載される前に、管理者によって確認される設定にしている場合があります。その場合は、投稿後にその旨が表示されます。たいてい1~2日以内には表示されるはずですので、気長にお待ち願います。m(_ _)m

トラックバック

このエントリーへのトラックバックURLを表示するにはここをクリック
※スパム防止のため、トラックバックURLは別ウインドウで表示します。(JavaScriptが有効でないと表示されません。)

--- 当サイト内を検索 ---