ClouderaManagerAPIを使ってHadoopジョブの状況を可聴化する
はじめに
この記事はドワンゴ Advent Calendar 2015 - Qiita および Cloudera Manager Advent Calendar 2015 - Qiita の 12/3 分の記事です。
Hadoopを運用するにあたって欠かせないもの、そうClouderaManager。みなさんもちろんClouderaManager使ってますよね。使ってない人は今すぐ入れましょう。
ClouderaManagerはとにかく最高で、クラスタのセットアップもさくっと終わるし、綺麗なグラフでクラスタの状況わかるし、ユーザが投げているクラスタジョブの状況も見れたりして最高に便利で、僕なんか仕事中の8割位はClouderaManagerのこと気になってしょうがないんだけど、とはいえドキュメント書いたりコード書いたり設計したり会議に出なくてはいけないのでずーっとClouderaManagerを見ているわけにはいかない。
とはいえ運用してるとHadoopクラスタの状況が気になってしょうがないので、ClouderaManagerのAPI経由でHadoopクラスタの様子を可聴化することにした。
ClouderaManagerAPI
ClouderaManagerはほとんどの機能に対してAPIを提供している
更新操作もできるけど、今回はReadオンリーのユーザであるapiユーザを作成した。 Yarnジョブの様子を見たいときはこんな感じで叩くと取れる
ドワンゴではHadoopクラスタにジョブを投げる用の内製フロントエンドを作っていて、Jobの様子はJobTrackerUIをスクレイピングして独自UIに表示したりしている。Hadoop2系に移行するときにJobTrackerじゃなくなって困ってたんだけど、ClouderaManagerAPI経由でみんなが使い慣れた画面そのままに移行することができた、本当に便利。
可聴化
neume.js
音のことよくわかってないし、WebAudioとかわからなかったけど使い勝手が良さそうなのでneume.jsを使った。わかりやすくてよかった。
ジョブの状況で音を出す
ClouderaManagerではYarnジョブを一覧で見ることができる。 運用しているときだいたい
- 実行中のジョブ数
- 実行中のMapper数/Reducer数
あたりを個人的によく見ている、ということで、ジョブのMapper数を音の高さでジョブの数を音の繰り返しで表現することにした。
Mapper数が 100,50,100のジョブが走っているときはこんな感じの音が出る
スタートの合図として880Hzの音を鳴らしてからBPM120でMapper数Hzで音が出るようにした。
波形で説明するとこんな感じ
スタートの合図から次の合図までの間隔でジョブ数がわかるし、その間に鳴る音の高さでMapperをどのくらい使ってるジョブなのかがわかって便利。
これをひたすらループする。
普通に稼働してる時はこんな感じの音がずっと流れる
Mapper数が大きければ大きいほど頭に刺さる感じになるし、小さいと休符っぽくなったり低音が出て臨場感ある。
まとめ
ClouderaManagerAPIとneume.jsでHadoopジョブの状況を可聴化した。
本当はMapperの様子を右耳に出してReducerの様子を左耳に出して、クエリ投げたユーザごとにスケール変えたりジョブ投げてるユーザの人数でBPM変えて賑やかな感じにしたり演奏っぽくしたくていろいろやってたんだけどわけわかんなくなってきて一旦Mapper数とジョブ数だけにした。任意のジョブのMapper数だけわかれば大体傾向つかめるしまぁ問題ないってことでこうした。
ずーっと聞きながら仕事してると大体どんなジョブ走ってるかClouderaManagerを目で見なくても感じ取れることができるので便利。
作ってる途中にめちゃくちゃでかいジョブ来たりして頭ぶっ壊れそうになったりするのでうまいことやらないとそのうち耳壊すと思う。
ログ可聴化について
ログを可聴化するのはすごくよくて、デプロイ前後っていろいろ確認しなきゃいけないものがあると思うけど一部のモニタしたい内容を可聴化するだけで同時処理できるものが増えて効率上がる
— み (@negipo) 2012, 10月 31
パソコン向かって仕事してる時、自分へのインプットは目しか使ってない気がするしもっと耳も使ったほうがいいと思った。ついでに背中に電極つけて腰辺りに電流流れてきたからネットワークトラフィック増えてるなみたいなこととかやるともっと体を有効に使えると思う。
最後に
ドワンゴではデータ基盤を全身で感じてみたい大規模データ基盤エンジニアを募集しています。
kosendj-bu #2
KosenDJ-bu #2 | 音楽喫茶 茶箱 sabaco music&cafe
予定があって遅刻早退という最悪な感じでほんと感じ悪い感じになって各位には申し訳ない感じ。
あべちゃんがトラブルメイカーなので一回流してみた #kosenvj
— そらは (@sora_h) 2014, 8月 31
前日にいきなりそらはーに順番変わってくれってお願いしたり、ヘッドホンとUSBケーブル忘れてといくんから奪ったりして不良だった。それに最初の2曲は左タンテから音出なくて焦ったけど結局針が調子悪い感じで最高のApplicationErrorだった。
トラックリスト
1. Kan Sano / Evebody Loves The Sunshine
2. Asayake Production / Spinning a Hold
3. Shingo Suzuki / Sunrise feat. Marina P and Blanco Nice
4. OVALL / Open Your Eyes
5. Shalok Poems / Blooming Sounds
6. Shin-Ski / koyoi feat. Apani B Fly Emcee
7. Shing02 / luv (sic) pt.2
8. EVISBEATS / ゆれる feat. 田我流 inst
9. Shingo Suzuki / Night Lights with thirdiq
10. DJ Mitsu The Beats / Mine Lady
11. DJ Tonk & Noelle / It's Love (Remix)
12. DJ Deckstream / To Be With You
13. DJ Cam Quartet / It's Yours feat Inlove
14. Kenichiro Nishihara / Now I Know feat. Pismo
15. PUNPEE / Chrono Trigger feat. ISSUGI, GAPPER
16. BASI / スタンダード
17. かせきさいだぁ / じゃっ夏なんで
18. 曽我部恵一 / サマーシンフォニーver.2 feat PSG
19. スチャダラパー / サマージャム'95
20. SOUL SCREAM / ひと夜のバカンス
21. Rhymester / フラッシュバック、夏。
22. ケツメイシ / 夏の思い出
23. KREVA / イッサイガッサイ
24. RIP SLYME / 楽園ベイベー
前半得意な感じで、後半日本語の夏っぽいので。
次は最初から最後までいるぞー、撮影もするぞー
みなさんおつかれさまでした。
絶食中
昼
野菜ジュース
夜
牛乳
追記:
2年半前にもチャレンジしてたっぽい
釧路で3番目に好きな場所を紹介します
この記事は 釧路 Advent Calendar 2013 - Adventar の17日目の記事です.
16日目は はとさんの 鳩時計 : 釧路のアレ(だいぶ古い)でした.
いろいろ本当に古い話だし,里美ペットショップはちょっと臭うインコがいる場所だなぁとか思い出したりしました.ばーちゃんにタイガー連れて行かれたあと良く通ってた記憶があります.
で,17日目の今日は僕の担当なので,僕が釧路で好きな20,032スポットのうち,その中でも3番目に好きな場所を特別に紹介します.
幸伸です.
酔いつぶれた時も,振られた日も,クリスマスの日も,嫌なことがあった日も,釧路を離れる前日も,久しぶりに釧路に帰った日も,そんなことはお構いなしに迎え入れてくれる幸伸です.
メニューです.
いろいろあるし,そばもカレーライスもザンギももちろんおいしいんですが,メニュー無視してマスターに「朝ご飯」って言うとこれが出てきます.
朝定+筋子(時価)
どの角度から見ても目玉焼きとウインナーです.
味噌汁代わりにそばも頼みます.
おいしいです.(ピンクの公衆電話かわいい)
1年ぶりにあってもマスターは「茨城に行ったんだったっけ,がんばってるかい」とか覚えててくれます.
幸伸の冷蔵庫は何でもあるみたいで,マグロとかサーモンとかも言えば出てくるらしい.あと,長ネギはショッパーズ菱光で仕入れてた(確認済み)
来年の2月にでもまたマスターに会いに行きたいです.
釧路 Advent Calendar 2013 - Adventar 17日目でした.他に20,031ヶ所も好きな場所があるし釧路は最高な場所だと思います.
明日は圭佑 宮腰さんです.どんな破門話がお聞きできるのか楽しみです.
銀座木挽町うどん 太常
うどんアドベントカレンダー2013 12/13分です
野菜とか果物売ってる.りんご2個で300円とかだった.
九条葱うどん - 500円くらい
ネギ食べたい時に来る.
うどんはすごく柔らかい.コシはほとんどない感じ.
天ぷら安いし野菜中心,揚げたてじゃないけどしんなりしててそれなり.
きつねうどん見た目がすごくおいしそうだった.
うどん酒場銀三
うどんアドベントカレンダー2013 12目です
東銀座 - うどん酒場銀三
http://tabelog.com/tokyo/A1301/A130101/13049886/
夜は居酒屋さんなのかな.
串天うどん - 480円
かしわ天が串に刺さってる.居酒屋さんだからか,天ぷらはすごくおいしかった.
出汁強めの味薄めで食べやすい.弱めのコシで優しい感じ.
■
空が代わりに涙流した日
2011年4月28日 俺にとってはまだ昨日のようだ