クラスタリングツール「bayon」を試してみた

夜中の3時半過ぎですが、久しぶりになんか書こうと思います。

ちょっと前にmixiのfujisawaさんという方がすごくナイスなソフトウェアをリリースしてくれました。

「軽量データクラスタリングツールbayon」
http://alpha.mixi.co.jp/blog/?p=1049

今までにもCLUTOというすごく高精度なクラスタリングツールがありましたが、こいつはライセンス的にちょっとイケズな感じでした。そこにbayonがスーパーマンのように登場してくれました!「商用利用OKだよ」ということで、仕事の上での悩みが解決しました。本当にありがたいことです。


さてさて、早速使ってみたいんですが、ブログに書くのにちょうどいい題材がなかったので、以前に自分が書いたエントリからデータを持ってくることにしました。

「芸能人の相関関係を探ってみるスクリプト
http://d.hatena.ne.jp/download_takeshi/20090323/1237824246

wikipediaの人名の一覧を適当にパースして、共起マトリックス作って云々、みたいなデータです。今回はこの「人名共起リスト」らしきデータをbayonにマルッと飲ませてみました。

クラスタリングした結果はこんな感じ。

1	ANZA	中山旦子	冨岡真理央	利根川朱里	垣内彩未	大山貴世	大崎望絵	大田ななみ	宮川愛	小谷美裕	岩名美紗子	川崎真央	斉藤レイ	朝見優香	木村早苗	本間理紗	栗山絵美	森野文子	白井珠希	神戸みゆき	穂坂優子	絵梨華	若山愛美	越智千恵子	郡司あやの	鈴木奈々	黒木マリナ	大野真緒	渋谷桃子	仲村瑠璃亜	城田優
2	安田章大	横山裕	丸山隆平	村上信五	渋谷すばる	大倉忠義
3	上原さくら	井森美幸	入来茉里	堀ちえみ	平山あや	新山千春	榊原郁恵	浜口順子	石原さとみ	綾瀬はるか	相原玲	山瀬まみ	深田恭子
4	岡田有希子	山咲トオル	松田聖子
5	藤ヶ谷太輔	石垣大祐	藤家和依	二階堂高嗣	淀川由浩	伊郷アクン	千賀健永	森本慎太郎	草野博紀	宮田俊哉	内博貴	玉森裕太	北山宏光	塚田僚一	山下翔央	横尾渉	生田斗真
6	浅香唯	ぼんちおさむ	まちゃまちゃ
7	岡田准一	森田剛	井ノ原快彦	原知宏	山口達也 (ジャニーズ)	長瀬智也	東山紀之	堂本光一	城島茂	堂本剛	長野博	国分太一	松岡昌宏	三宅健	坂本昌行
8	ジミー大西	中井美穂	長嶋一茂	温水洋一	ほんこん
9	晴山さおり	臼井静	原千晶	時東ぁみ
10	加藤沙耶香	乙葉	佐藤寛子 (タレント)	磯山さやか
11	岩崎千明	高樹千佳子	杉崎美香	優木まおみ
12	亀梨和也	上田竜也	田口淳之介	田中聖	赤西仁	小杉竜一	中丸雄一
13	塙宣之	はなわ	草野仁	原口あきまさ	土田晃之
14	井上和香	加藤あい	大久保麻理子	小松彩夏	小田あさ美	山本彩乃	木口亜矢	森本さやか (タレント)	浜田翔子 (タレント)	眞鍋かをり	酒井彩名	酒井若菜	小倉優子	手島優	相澤仁美	佐藤江梨子	原史奈
15	佐藤和沙	加藤明日美	千堂あきほ	池田夏希	石川夕紀	緒方かな子	熊田曜子	安田美沙子	鈴木紗理奈	ほしのあき
16	横山やすし	大平サブロー	西川きよし	板尾創路	西川のりお	中川家礼二	坂田利夫	桂三枝
17	山口美沙	山川恵里佳	にしおかすみこ	照英	リサ・ステッグマイヤー	井上マー	佐久間一行
18	小山慶一郎	加藤成亮	手越祐也	鈴木杏	増田貴久	山下智久	錦戸亮
19	東原亜希	岩佐真悠子	齊藤夢愛	青山玲子	上原美優	袴田吉彦	若槻千夏	さとう里香	和希沙也
20	はしのえみ	もりちえみ	ゆりん	上良早紀	中越典子	佐藤弥生	安めぐみ	水野裕子	稲田奈緒	谷ちあき	赤嶺寿乃	野仲美貴	阿部美穂子	英玲奈	坂下千里子	八田亜矢子	小町桃子	金田美香	白石みき
21	団長 (安田大サーカス)	佐田真由美	くまきりあさ美	ジョアン (タレント)	ラッキィ池田
22	小林賢太郎	椎名林檎	松居直美 (タレント)	斉藤慶子
23	MEGUMI	矢吹春奈	桜木睦子	星ひとみ	根本はるみ	木南晴夏	樹里 (グラビアアイドル)	野口五郎
24	名倉潤	うじきつよし	湯浅卓	田山涼成	鈴木拓	板東英二	間寛平	野々村真	梨花
25	リア・ディゾン	皆藤愛子	西村知美	馬場裕之	小林はるか	中川翔子
26	優香	小林麻央	長井秀和	有吉弘行	大沢あかね	中島知子
27	ゴリ (お笑い芸人)	トシ	マリエ (モデル)	三村マサカズ	中田敦彦	久本雅美	千原ジュニア	大竹一樹	太田光	川田広樹	徳井義実	柳原可奈子	福田充徳	藤森慎吾	青木さやか	劇団ひとり	中居正広	男性タレント	草なぎ剛	DAIGO	香取慎吾	笑福亭鶴瓶	大島美幸	田中裕二 (爆笑問題)	関根勤	渡辺直美	山口智充	慶	ピーコ
28	古舘伊知郎	かとうれいこ	定岡正二	峰竜太	木梨憲武	みのもんた	石橋貴明	宇梶剛士
29	伊野尾慧	八乙女光	有岡大貴	山田涼介	知念侑李	薮宏太	岡本圭人	鈴木みのる	高木雄也	中島裕翔	森本龍太郎
30	乾貴美子	田口浩正	伊集院光	山本太郎	柴田英嗣	森脇健児	つぶやきシロー	山崎弘也	吉田照美
31	猫ひろし	山崎真実	折原みか	杏さゆり	柴田淳	海川ひとみ	デーブ・スペクター
32	山田花子 (タレント)	川島邦裕	たいぞう	ケンドーコバヤシ	池乃めだか	高橋茂雄	たむらけんじ	藤原紀香	陣内智則	後藤秀樹	藤井隆
33	酒井法子	中山美穂	柳葉敏郎	河村隆一	工藤静香	網浜直子	城之内早苗
34	おすぎ	ザ・たっち	三瓶	伊藤さおり (お笑い)	黒沢宗子	西川晃啓
35	八嶋智人	田中直樹 (お笑い)	遠藤章造	田村淳	田村亮 (お笑い)	杉田かおる	金成公信	千秋 (タレント)	ヒデ (お笑い芸人)
36	田丸麻紀	渡部建	レイザーラモンHG	IKKO	風子	日村勇紀	児嶋一哉
37	ジュンジュン	中澤裕子	久住小春	亀井絵里	光井愛佳	加護亜依	北原沙弥香	吉澤ひとみ	安倍なつみ	安倍麻美	小川麻琴	岡田唯	市井紗耶香	後藤真希	新垣里沙	松浦亜弥	田中れいな	石川梨華	石黒彩	藤本美貴	辻希美	道重さゆみ	飯田圭織	高橋愛	杉浦太陽	相田翔子	保田圭
38	後藤輝基	加藤晴彦	金村義明	村上里佳子	木村祐一	笑福亭笑瓶	金子賢	YOU (タレント)	石垣佑磨
39	近藤真彦	錦織一清	パパイヤ鈴木	山崎静代	中森明菜	山里亮太
40	田村正和	関口宏	小林千絵	天野ひろゆき	マギー審司	ドロンズ石本	長澤まさみ
41	竹原慎二	蛯原友里	つボイノリオ	森田健作	大和田獏	松本潤	成宮寛貴
42	北斗晶	哀川翔	レッド吉田	長渕剛	増田英彦	伊藤淳史	有田哲平	上田晋也
43	博多華丸	中山功太	ヒロシ	友近	浅越ゴエ	だいたひかる	バカリズム	ウメ (お笑い)	鳥居みゆき	ほっしゃん。	あべこうじ	若井おさむ	大輪教授	なだぎ武	小浦一優	ネゴシックス	博多大吉	瑛太
44	オダギリジョー	中村優一	佐藤健 (俳優)	加藤和樹	加藤夏希	半田健人	堀内健	山本裕典	柳沢慎吾	武蔵 (格闘家)	水嶋ヒロ	瀬戸康史	神保悟志	稲垣吾郎	細川茂樹	萩野崇	藤岡弘、	要潤	賀集利樹	黄川田将也	黒田アーサー	国分佐智子	望月祐多	片瀬ゆき
45	末高斗夢	イジリー岡田	渡辺篤史	関根麻里	小堺一機	光浦靖子	大塚範一	麻木久仁子	アントニオ小猪木
46	川嶋あい	上戸彩	斉藤祥太	渋谷飛鳥	中土居宏宜	本田美奈子.	小池徹平	白鳥百合子
47	井上聡	松本康太	中西哲夫	くわばたりえ	吉田敬	押切もえ	小木博明	及川奈央
48	つまみ枝豆	チャーリー浜	トータス松本	ビートキヨシ	井手らっきょ	北野大	戸田恵梨香	春一番 (お笑い)	設楽統	速水もこみち	森永卓郎	テリー伊藤	玉袋筋太郎	所ジョージ	ヒロミ	水野透	水道橋博士	山本モナ	大橋巨泉	ビートたけし	ガダルカナル・タカ	東国原英夫	ユースケ・サンタマリア	大竹まこと	片岡鶴太郎	蛭子能収	松本人志	富永美樹	島田洋七	松本伊代
49	ジョン・カビラ	川平慈英	マツコ・デラックス	堤真一	西田敏行	山本耕史	虻川美穂子	谷原章介	木村拓哉	早見優	岡本玲	加藤紀子
50	和田アキ子	矢部太郎	ルー大柴	彦摩呂	円広志	白石美帆	橋下徹	上沼恵美子	渡辺正行	井戸田潤	丸山和也	松本志のぶ	磯野貴理	小池栄子	小川菜摘	国生さゆり
51	なぎら健壱	タモリ	デーモン小暮閣下	ノッチ (お笑い芸人)	モンキッキー	内藤剛志	山崎まさや	川合俊一	柴田理恵	梶原雄太	浅田好未	石田靖	神田うの	西村和彦	釈由美子	長州小力	江頭2:50	田中義剛	木村カエラ	清水圭	きたろう	早坂好恵	さとう珠緒	林家正蔵 (9代目)	明石家さんま	杉作J太郎	城咲仁	松尾貴史	西野亮廣	塚地武雅	橋本志穂	新垣結衣	野村沙知代	渡辺満里奈	上原多香子	ビビる大木	大山英雄	はるな愛
52	桂歌丸	三遊亭小遊三	ヨネスケ	立川談志	林家たい平	林家木久扇	千野志麻	三宅裕司
53	武田修宏	船越英一郎	岡村隆史	若林正恭	布施明	矢部浩之	北野誠	木村明浩	有野晋哉	武田真治	濱口優	大久保佳代子	関暁夫
54	三又又三	東貴博	篠原涼子	エド・はるみ	ゴルゴ松本	原田泰造	いとうあさこ	塚本高史	アントキの猪木	可愛かずみ	勝俣州和
55	赤井英和	二宮和也	今井翼	滝沢秀明	西城秀樹	松岡充	佐藤弘道
56	クロちゃん (お笑い)	仲川遥香	佐藤夏希	前田敦子	多田愛佳	大堀恵	大島優子	宮崎美穂	宮本和知	宮澤佐江	小嶋陽菜	小野恵令奈	峯岸みなみ	平嶋夏海	板野友美	柏木由紀	河西智美	浦野一美	渡辺麻友	田代さやか	秋元才加	篠田麻里子	野呂佳代	高橋みなみ	大島麻衣
57	クリス松村	ダンディ坂野	ラサール石井	元木大介	小島よしお	山根良顕	崎本大海	庄司智春	春日俊彰	波田陽区	矢口真里	神戸蘭子	金剛地武志	島田紳助	南明奈	槙原寛己	里田まい	木下優樹菜	つるの剛士	福田沙紀	高原兄	藤本敏史	井上公造	香田晋	田中卓志	岡田圭右	伊達みきお	早美あい	松井絵里奈	野久保直樹	Misono	西川史子	品川祐	山田親太朗	原西孝幸	上地雄輔	スザンヌ (タレント)
58	板倉俊之	堤下敦	小沢一敬	斉藤由貴	山本博 (お笑い芸人)	大野智	秋山竜次	小栗旬
59	すほうれいこ	内田有紀	安西ひろこ	小向美奈子	山田まりや	川村亜紀	市川由衣	椎名法子	榎本加奈子	沢尻エリカ	金子さやか	雛形あきこ	青木裕子 (タレント)	鮎河ナオミ	藤崎奈々子	西田ひかる	宮地真緒	北川えり	吉井怜	伊藤裕子	三津谷葉子
60	ベッキー	宮崎あおい	三原じゅん子	前田健 (タレント)	菊川怜	高木美保	TAKUYA (マジシャン)	広末涼子	矢作兼	溝端淳平	妻夫木聡
61	高田純次	島崎俊郎	ウド鈴木	松村邦洋	稲川淳二	いとうまい子	堀越のり	錦野旦	ガッツ石松	南原清隆	パッション屋良	出川哲朗	松本明子	インリン・オブ・ジョイトイ	氷川きよし	内山信二
62	後藤久美子 (女優)	うつみ宮土理	郷ひろみ	愛川欽也	篠山紀信	清水ミチコ	高岡早紀	小林麻耶	京本政樹	柏原芳恵	吉野紗香	宮崎美子	石塚英彦
63	ロッシー	千原せいじ	山下しげのり	竹若元博	鈴木蘭々	平畠啓史	宮川大輔 (タレント)	宮迫博之	武田鉄矢	渡辺徹 (俳優)	モリマン	蛍原徹	Hiroko	加藤浩次	HIRO (お笑い)	ウエンツ瑛士	浜田雅功	内村光良	山崎邦正	東野幸治	今田耕司
64	山田雅人	石坂浩二	青田典子	ゴリけん	小沢真珠	櫻井翔	角田信朗	相武紗季	魚住りえ	真木よう子	菅原文太	アグネス・チャン	くじら (タレント)	大和田伸也	松岡修造	山下真司	一色紗英	安達祐実	津川雅彦	ふかわりょう	本村健太郎	田中律子	堀北真希	斉木しげる	遠藤久美子	内田恭子	石原良純	江守徹	深津絵里	福澤朗	堺正章	山本高広	富司純子	泉谷しげる	KABA.ちゃん	ソニン (歌手)	渡哲也	舘ひろし
65	鳥羽一郎	山本譲二	大仁田厚	蒼井そら	ビビアン・スー	藤原一裕	BoA	菊地美香	ハチミツ二郎
66	上島竜兵	仲本工事	寺門ジモン	山本梓	島崎和歌子	渡辺美奈代	肥後克広	辺見えみり	山口もえ	堀江しのぶ	桑野信義	谷啓	森下千里	コロッケ (タレント)	金田哲	加藤茶	高木ブー	吉幾三	相葉雅紀	小林恵美	志村けん	中村玉緒	モト冬樹	えなりかずき	中山秀征	神奈月
67	木村美紀	梅宮辰夫	石田純一	高橋克実	布川敏和	岸部四郎	池内博之	パペットマペット	河本準一	松田大輔	田中麗奈	生稲晃子	浅田美代子	村上ショージ	山中秀樹	小阪由佳	小西真奈美	タカ (タカアンドトシ)	松嶋尚美	ホリ (お笑い)	玉木宏	渡辺鐘	坂本ちゃん	杉本彩	嘉門達夫	小倉智昭
68	狩野英孝	近藤春菜	箕輪はるか	吉岡美穂	はいだしょうこ	薬丸裕英	佐久間絢子	伊東四朗	東幹久	宇治原史規

ほっほう。なんか微妙に面白い結果ですね。

16番の「横山やすし 大平サブロー 西川きよし・・・」あたりは関西系の懐かしの面々だし、
52番の「桂歌丸 三遊亭小遊三 ヨネスケ 立川談志 林家たい平・・・」は落語家系ですね。

34番「おすぎ ザ・たっち 三瓶」あたりはなんだか生物学的につながりがありそう。。
21番の「団長 (安田大サーカス) ・・・ ラッキィ池田」なんか、生き別れの兄弟?のような気がしてなりません。

48番はビートたけしファミリー、66番は志村ファミリーですね。
近藤真彦中森明菜が同じクラスタに入ってたりするあたりには昭和の甘酸っぱい記憶がよみがえります。

全体を通じてちょっと微妙な結果になってしまった感もありますが、これはbayonが悪いわけではなくて、wikipediaの記事をデータソースにしてるので、記事のボリュームがまちまち立ったりするためです。要するに用意したデータの精度がいい加減なためです。なんでbayonの精度の問題ではないと思います。


さて、bayonを使ってみて感じたことを3点ほど書いておきます。

超高速

CLUTOでも腰が抜けるほど速かったですが、bayonはさらに速いです。びびりました。
Repeated Bisectionというアルゴリズムが高速の秘訣とか。もうK-meansのトロトロした遅さには戻れません。

入出力インターフェイスが人に優しい

これは実際にやってる人ならわかると思いますが、やや冗長でもいいから、これくらいベタに親切なIFはうれしいです。CLUTOの疎行列表現のIFは一般的なフォーマットなんだろうけど、なんていうか、やさしさが足りない感じです。その点bayonは痒いところをかきむしってくれてます。

クラスタ数を自動で決めてくれる(オプション)

K-meansとかだと最初に何個のクラスタに割るのか、ユーザが決めなければならなくて、そこらへんがおっかなびっくりだったんですが、bayonは-lオプションを使えば、勝手にヨキニ計らってくれます。
X-meansみたいなもんなのかな?たぶん。なんにしてもうれしいオプションです。

あと、チュートリアルを日本語で用意してくれているあたり、マジ、涙が出ます。

http://code.google.com/p/bayon/wiki/Tutorial_ja


マイニング屋さんはぜひ一度さわってみるといいよ!