読者です 読者をやめる 読者になる 読者になる

#kosendj Advent Calendar 2016 8日目 : フィジカル

これは #kosendj Advent Calendar 2016 の8日目の記事です。

www.adventar.org

どうもご無沙汰しております、frkoutです。だいぶご無沙汰しております。はじめまして、こんばんは。おはようからお休みまで暮らしを見つめる親の脛かじり部屋の隅まで....

今年は掘りながら仕入れてかつ潜りながら技術を磨くということに専念しておりました(言い訳

特に自分のスタイルが今年に入ってから変わりまして、以前はTraktor+コントロールバイナルでやってたのを完全にアナログ移行したいと思い、ひたすら掘りながら買い続ける、とにかく買う方面に降りました。その上、シングル盤(7インチ)縛りという修行を1年間続けた結果、アナログオンリーで2セットくらいは回せるようになりつつあります。ざっくり数えたら200枚くらい買ってた。

なんで7インチ縛りにしたかというと、DJ KOCO a.k.a shimokita のインストアを2年位前に見たときにビビビッと来たんですがまぁどうすればいいかわからず、なにもわからないままひたすらレコ屋に毎週通いつめるということをし続けた結果なんとなくわかってきたという感じです。

ということで、今年買ってよかったレコードを紹介します。

DANIEL CRAWFORD - WATER NO GET ENEMY

f:id:frkout:20161208002718j:plain

多分今年一番聞いた、3日に1回くらい聴いた、もう2枚くらい欲しいクロスオーヴァー Fela Kuti - Water no get enemy - YouTube のカヴァーで原曲の方は皆さんご存知 Pete Rock & InI - Grown Man Sport (HD) - YouTube の元ネタなんですが、DANIEL CRAWFORDの手にかかるとこんなにジャズになるのかと。もうクソかっこいい。

DIGGIN' SALSOUL RE-EDIT MY MURO vol.1 - FIRST CHOICE - LOVE THANG

f:id:frkout:20161208002424j:plain

MUROによるSALSOUL EDIT 3部作の1枚目。とにかく最高 この3枚きっかけにひたすらSALSOUL買うようになってしまった。

JIM SHARP - DO 4 LOVE

f:id:frkout:20161208002355j:plain

みんな大好きBOBBY CALDWELLにTUPACが乗っかったEDIT。頭も使いやすいのでテンポ変えるときとかぶっ込むのに便利。 今年JIM SHARP3枚買ったけどこれが一番最高だった。

www.jetsetrecords.net

Nujabes - Flowers

f:id:frkout:20161208002814j:plain

人生ベスト50に確実に入るFlowersの7インチ、発売に気づくのが遅くディスクユニオンでは買い逃した。めっちゃ悔しかったけどなんとか手に入れた(あとで中古でそこそこ出回っててそれはそれでショックだった)。まさかこれが7インチで出ると思ってなかったのでアナログで聞けて本当に幸せ。

www.youtube.com

Kan Sano - C'est la vie feat. 七尾旅人

f:id:frkout:20161208002851j:plain

とにかく聴いてくれ。とにかく最高。

www.youtube.com

STUTS - 夜をつかいはたして feat. PUNPEE

f:id:frkout:20161208002625j:plain

今年一番よかったけど僕の稚拙な文章では絶対に伝わらないので SEX山口氏のレビューを引用します

まだ早いかもしれませんが、個人的2016年名曲オブ・ジ・イヤーはこれかなと思っております。 STUTSフィルターを通ったサンプリング・トラックと、PUNPEE自体が狂おしいほどにエモーショナルな展開を生み、 結果として俺たちの「一夜」を完璧な物語としてストーリーテリングしてしまった・・・という傑作曲。 これを聴いてから「どんな一夜も超大事」とファットレースを締め直した次第であります。ありがとう、STUTSとPUNPEEと夜。

DJ Chart | SEX山口 | 2016-11-25 | Record CD Online Shop JET SET / レコード・CD通販ショップ ジェットセット

DJ MITSU the BEATS - Promise in Love feat. Jose James

f:id:frkout:20161208002738j:plain

DJ部でも毎回かけてた Promise in Love 絶対に手に入らないと思ってたけどサクッと再発。ありがとうありがとう。

www.youtube.com

ということで今年はイベント出れなくてすみません。もう長いこと顔出せてないのでもうそろ遊びに行きたいと思ってるので引き続きよろしくお願いいたします。 それとみんなアナログ楽しいのでアナログ触ってみるのおすすめです。デジタルだと簡単にできることも厳しいし針は飛ぶしで修行のようですが心が落ち着きます。 それではどこかでお会いしましょう。

北海道で働いてます

今年の1月から僕の出身地の帯広市で働いています。半年経ちました。

最高な仲間たちと一緒に最高のプロダクト作れているのであとは実績をどんどん出していきたいのと仲間を増やしていきたいです。

除糞したり搾乳したり餌押ししたりプラボックスの加工とかセンサーの取り付けだったり組み込みLinuxやったりgo書いたりAWShadoop/sparkだったりと、土から動物、強電からクラウドそして電波まで超広範囲な技術を扱っていて、これが本物のフルスタックだ!感が出ています。

最近マネジメント業務に寄りつつありますが扱っているデータが比較的綺麗に整っているので今抱えてるリリースが終わったらまたhadoop周りに戻って新しいもの取り込んで尖ったプロダクトにどんどんしていきたいなと思ってます。

 

本物のフルスタックに興味があったり、面白そうだと感じたら気軽に声かけてください。ここには書ききれないたくさんの"技術"について色々と話しましょう。仕事抜きにしても北海道に遊びに来たかったりしてもし来ることあれば適当に呼んでもらえれば嬉しいです。一緒に飲みましょう。

株式会社ドワンゴを退職しました

2013年に新卒で入って3年弱働いた株式会社ドワンゴを12月末で退職します。

12/22最終出社で現在有給消化期間です。

配属された大規模データ分析基盤開発チームで2年半業務し、最後の1年間は開発リーダーを任せていただきました。 ビッグデータとかHadoopをメインにいろいろ自由にやらせてもらえて本当に楽しかったです。

内定後に大量退職があったりしたらしく不安でしたが入ってみたら聞いていた噂とは全然ちがったし、 エンジニアが働く環境としてはドワンゴは最高の会社でした。これからもどんどん良くなっていくんだろうなぁと思います。

ちょっと新しく挑戦してみたいことができたのでクラスチェンジとして退職です。

各位、大変お世話になりました。ありがとうございました。今後共引き続きよろしくお願いいたします。

株式会社ドワンゴを退職しました

ClouderaManagerAPIを使ってHadoopジョブの状況を可聴化する

はじめに

この記事はドワンゴ Advent Calendar 2015 - Qiita および Cloudera Manager Advent Calendar 2015 - Qiita の 12/3 分の記事です。

Hadoopを運用するにあたって欠かせないもの、そうClouderaManager。みなさんもちろんClouderaManager使ってますよね。使ってない人は今すぐ入れましょう。

ClouderaManagerはとにかく最高で、クラスタのセットアップもさくっと終わるし、綺麗なグラフでクラスタの状況わかるし、ユーザが投げているクラスタジョブの状況も見れたりして最高に便利で、僕なんか仕事中の8割位はClouderaManagerのこと気になってしょうがないんだけど、とはいえドキュメント書いたりコード書いたり設計したり会議に出なくてはいけないのでずーっとClouderaManagerを見ているわけにはいかない。

とはいえ運用してるとHadoopクラスタの状況が気になってしょうがないので、ClouderaManagerのAPI経由でHadoopクラスタの様子を可聴化することにした。

ClouderaManagerAPI

ClouderaManagerはほとんどの機能に対してAPIを提供している 

Cloudera Manager API Client

更新操作もできるけど、今回はReadオンリーのユーザであるapiユーザを作成した。 Yarnジョブの様子を見たいときはこんな感じで叩くと取れる

curl -X get http://user:pass@cluster1-cm:7180/api/v7/clusters/cluster/services/yarn/yarnApplications

ドワンゴではHadoopクラスタにジョブを投げる用の内製フロントエンドを作っていて、Jobの様子はJobTrackerUIをスクレイピングして独自UIに表示したりしている。Hadoop2系に移行するときにJobTrackerじゃなくなって困ってたんだけど、ClouderaManagerAPI経由でみんなが使い慣れた画面そのままに移行することができた、本当に便利。

可聴化

neume.js

音のことよくわかってないし、WebAudioとかわからなかったけど使い勝手が良さそうなのでneume.jsを使った。わかりやすくてよかった。

mohayonao.hatenablog.com

ジョブの状況で音を出す

ClouderaManagerではYarnジョブを一覧で見ることができる。 運用しているときだいたい

  • 実行中のジョブ数
  • 実行中のMapper数/Reducer数

あたりを個人的によく見ている、ということで、ジョブのMapper数を音の高さでジョブの数を音の繰り返しで表現することにした。

 

Mapper数が 100,50,100のジョブが走っているときはこんな感じの音が出る
スタートの合図として880Hzの音を鳴らしてからBPM120でMapper数Hzで音が出るようにした。

波形で説明するとこんな感じ

f:id:frkout:20151203165748p:plain

スタートの合図から次の合図までの間隔でジョブ数がわかるし、その間に鳴る音の高さでMapperをどのくらい使ってるジョブなのかがわかって便利。

これをひたすらループする。

 

普通に稼働してる時はこんな感じの音がずっと流れる

Mapper数が大きければ大きいほど頭に刺さる感じになるし、小さいと休符っぽくなったり低音が出て臨場感ある。

 

まとめ

ClouderaManagerAPIとneume.jsでHadoopジョブの状況を可聴化した。
本当はMapperの様子を右耳に出してReducerの様子を左耳に出して、クエリ投げたユーザごとにスケール変えたりジョブ投げてるユーザの人数でBPM変えて賑やかな感じにしたり演奏っぽくしたくていろいろやってたんだけどわけわかんなくなってきて一旦Mapper数とジョブ数だけにした。任意のジョブのMapper数だけわかれば大体傾向つかめるしまぁ問題ないってことでこうした。

ずーっと聞きながら仕事してると大体どんなジョブ走ってるかClouderaManagerを目で見なくても感じ取れることができるので便利。

作ってる途中にめちゃくちゃでかいジョブ来たりして頭ぶっ壊れそうになったりするのでうまいことやらないとそのうち耳壊すと思う。

ログ可聴化について

パソコン向かって仕事してる時、自分へのインプットは目しか使ってない気がするしもっと耳も使ったほうがいいと思った。ついでに背中に電極つけて腰辺りに電流流れてきたからネットワークトラフィック増えてるなみたいなこととかやるともっと体を有効に使えると思う。  

最後に

 ドワンゴではデータ基盤を全身で感じてみたい大規模データ基盤エンジニアを募集しています。

progres05.jposting.net

kosendj-bu #2

KosenDJ-bu #2 | 音楽喫茶 茶箱 sabaco music&cafe

 

予定があって遅刻早退という最悪な感じでほんと感じ悪い感じになって各位には申し訳ない感じ。

 

前日にいきなりそらはーに順番変わってくれってお願いしたり、ヘッドホンとUSBケーブル忘れてといくんから奪ったりして不良だった。それに最初の2曲は左タンテから音出なくて焦ったけど結局針が調子悪い感じで最高のApplicationErrorだった。

 

トラックリスト

1. Kan Sano / Evebody Loves The Sunshine
2. Asayake Production / Spinning a Hold
3. Shingo Suzuki / Sunrise feat. Marina P and Blanco Nice
4. OVALL / Open Your Eyes
5. Shalok Poems / Blooming Sounds
6. Shin-Ski / koyoi feat. Apani B Fly Emcee
7. Shing02 / luv (sic) pt.2
8. EVISBEATS / ゆれる feat. 田我流 inst
9. Shingo Suzuki / Night Lights with thirdiq
10. DJ Mitsu The Beats / Mine Lady
11. DJ Tonk & Noelle / It's Love (Remix)
12. DJ Deckstream / To Be With You
13. DJ Cam Quartet / It's Yours feat Inlove
14. Kenichiro Nishihara / Now I Know feat. Pismo
15. PUNPEE / Chrono Trigger feat. ISSUGI, GAPPER
16. BASI / スタンダード
17. かせきさいだぁ / じゃっ夏なんで
18. 曽我部恵一 / サマーシンフォニーver.2 feat PSG
19. スチャダラパー / サマージャム'95
20. SOUL SCREAM / ひと夜のバカンス
21. Rhymester / フラッシュバック、夏。
22. ケツメイシ / 夏の思い出
23. KREVA / イッサイガッサイ
24. RIP SLYME / 楽園ベイベー

 

前半得意な感じで、後半日本語の夏っぽいので。

次は最初から最後までいるぞー、撮影もするぞー

 

みなさんおつかれさまでした。

釧路で3番目に好きな場所を紹介します

この記事は 釧路 Advent Calendar 2013 - Adventar の17日目の記事です.

16日目は はとさんの 鳩時計 : 釧路のアレ(だいぶ古い)でした.

いろいろ本当に古い話だし,里美ペットショップはちょっと臭うインコがいる場所だなぁとか思い出したりしました.ばーちゃんにタイガー連れて行かれたあと良く通ってた記憶があります.

 

 

で,17日目の今日は僕の担当なので,僕が釧路で好きな20,032スポットのうち,その中でも3番目に好きな場所を特別に紹介します.

 

幸伸 - 釧路/そば [食べログ]

f:id:frkout:20131217011256j:plain

 

幸伸です.

酔いつぶれた時も,振られた日も,クリスマスの日も,嫌なことがあった日も,釧路を離れる前日も,久しぶりに釧路に帰った日も,そんなことはお構いなしに迎え入れてくれる幸伸です.

 

メニューです.

f:id:frkout:20131217011358j:plain

いろいろあるし,そばもカレーライスもザンギももちろんおいしいんですが,メニュー無視してマスターに「朝ご飯」って言うとこれが出てきます.

 

朝定+筋子(時価)

f:id:frkout:20130309062518j:plain

どの角度から見ても目玉焼きとウインナーです.

 

味噌汁代わりにそばも頼みます.

f:id:frkout:20130309063645j:plain

おいしいです.(ピンクの公衆電話かわいい)

 

1年ぶりにあってもマスターは「茨城に行ったんだったっけ,がんばってるかい」とか覚えててくれます.

f:id:frkout:20131217011704p:plain

 

幸伸の冷蔵庫は何でもあるみたいで,マグロとかサーモンとかも言えば出てくるらしい.あと,長ネギはショッパーズ菱光で仕入れてた(確認済み)

 

来年の2月にでもまたマスターに会いに行きたいです.

f:id:frkout:20131217011812p:plain

釧路 Advent Calendar 2013 - Adventar 17日目でした.他に20,031ヶ所も好きな場所があるし釧路は最高な場所だと思います.

明日は圭佑 宮腰さんです.どんな破門話がお聞きできるのか楽しみです.