2016

この記事は2016 Advent Calendar 2016 - Adventar の第14日目の記事です。

2016 大半の時間を仕事に費やしてみたりしている実験中で人間どこまで仕事をやり続けられるだろうみたいなチャレンジでもあるんだけどその中でもまぁ音楽というものは常にあるわけで今年気づいて良かったものをひたすら並べる。

元ネタ編

DELLY RANKS & MEGA BANTON - LAWS OF A GANGSTA

www.youtube.com

イントロからもうあれ、アレの元ネタで、確か1月くらいに渋谷HMVで床置のレゲエ箱の中ほってたら出てきた。大本はすすきのかどっかのソウルバーで夏くらいに聞いたんだけどまだ見つけられてない。

Lonnie Liston Smith - Bridge Through Time (1980)

youtube.com

P様の衣替えの元ネタ。2015年最高だった曲のソースを2016年に見つけられるのはいい人生だと思う。都内のレコ屋で7インチ掘りまくってるけど見つからない。コロンビアのプロモレーベルをひたすら探してる。来年には手にしたい。

10月にこれ知った

www.youtube.com

The Moments - Love On A Two Way Street

youtube.com

イントロですぐ「ニューヨーク」って気づく感じ。いい感じ。

Towa Tei - Funkin' For Jamaica (Boris Dlugosch's & Michi Lange's Club Mix) (2001)

www.youtube.com

Tom Browne の7インチ見つけたら買う病になってるけどテイトウワのもいいなぁと思っているので聞きまくってた2月ころ

Fiona Apple - Sleep To Dream

www.youtube.com

ねれない!!!!!!!

Pharoah Sanders - Farah

www.youtube.com

RITTO【MV】NINGEN State of Mind pt-II / pro.OLIVEOIL - YouTube の元ネタ、ファラオ・サンダースは一通り聴いたつもりでいたけど気づいてなかった。クソかっこいい。

Alice Coltrane - Turiya And Ramakrishna

www.youtube.com

多感な時期に聞きまくってた Specifics - My Tunes - YouTube の元ネタ。気づいたのは、YOUNG JUJU の Hallelujah。 サンプリングだと思ってなかった。けどあった。最高。

新曲編

普段新曲って全然追わないんだけど移動が多かったからそれなりに聴いた気がする2016年

C.O.S.A. × KID FRESINO "Swing at somewhere feat. コトリンゴ (Prod by jjj)"

www.youtube.com

間違いなく今年ベストPV。スタジオ石の仕事は最高。アルバムもめっちゃ聴いた(聴いてる)

IO - Soul Long

Check My Ledge feat. YUSHI

Check My Ledge feat. YUSHI

  • IO
  • ヒップホップ/ラップ
  • ¥250

KANDYTOWN - KANDYTOWN

Get Light

Get Light

  • KANDYTOWN
  • ヒップホップ/ラップ
  • ¥250

YOUNG JUJU - juzzy 92'

Hallelujah

Hallelujah

  • YOUNG JUJU
  • ヒップホップ/ラップ
  • ¥250

KANDYTOWN周り移動中にずっと聞きまくってた。良い。

JONES - New Skin

Rainbow

Rainbow

こういうのも積極的に聞くようになった。

WONK - Sphere

savior

savior

  • WONK
  • R&B/ソウル
  • ¥200

間違いなく2016ベストアルバム。アナログ買った。こんなに自分の好みにどストライクなバンドあるのかと、本当にびっくりしたし本当に最高。

#kosendj Advent Calendar 2016 8日目 : フィジカル

これは #kosendj Advent Calendar 2016 の8日目の記事です。

www.adventar.org

どうもご無沙汰しております、frkoutです。だいぶご無沙汰しております。はじめまして、こんばんは。おはようからお休みまで暮らしを見つめる親の脛かじり部屋の隅まで....

今年は掘りながら仕入れてかつ潜りながら技術を磨くということに専念しておりました(言い訳

特に自分のスタイルが今年に入ってから変わりまして、以前はTraktor+コントロールバイナルでやってたのを完全にアナログ移行したいと思い、ひたすら掘りながら買い続ける、とにかく買う方面に降りました。その上、シングル盤(7インチ)縛りという修行を1年間続けた結果、アナログオンリーで2セットくらいは回せるようになりつつあります。ざっくり数えたら200枚くらい買ってた。

なんで7インチ縛りにしたかというと、DJ KOCO a.k.a shimokita のインストアを2年位前に見たときにビビビッと来たんですがまぁどうすればいいかわからず、なにもわからないままひたすらレコ屋に毎週通いつめるということをし続けた結果なんとなくわかってきたという感じです。

ということで、今年買ってよかったレコードを紹介します。

DANIEL CRAWFORD - WATER NO GET ENEMY

f:id:frkout:20161208002718j:plain

多分今年一番聞いた、3日に1回くらい聴いた、もう2枚くらい欲しいクロスオーヴァー Fela Kuti - Water no get enemy - YouTube のカヴァーで原曲の方は皆さんご存知 Pete Rock & InI - Grown Man Sport (HD) - YouTube の元ネタなんですが、DANIEL CRAWFORDの手にかかるとこんなにジャズになるのかと。もうクソかっこいい。

DIGGIN' SALSOUL RE-EDIT MY MURO vol.1 - FIRST CHOICE - LOVE THANG

f:id:frkout:20161208002424j:plain

MUROによるSALSOUL EDIT 3部作の1枚目。とにかく最高 この3枚きっかけにひたすらSALSOUL買うようになってしまった。

JIM SHARP - DO 4 LOVE

f:id:frkout:20161208002355j:plain

みんな大好きBOBBY CALDWELLにTUPACが乗っかったEDIT。頭も使いやすいのでテンポ変えるときとかぶっ込むのに便利。 今年JIM SHARP3枚買ったけどこれが一番最高だった。

www.jetsetrecords.net

Nujabes - Flowers

f:id:frkout:20161208002814j:plain

人生ベスト50に確実に入るFlowersの7インチ、発売に気づくのが遅くディスクユニオンでは買い逃した。めっちゃ悔しかったけどなんとか手に入れた(あとで中古でそこそこ出回っててそれはそれでショックだった)。まさかこれが7インチで出ると思ってなかったのでアナログで聞けて本当に幸せ。

www.youtube.com

Kan Sano - C'est la vie feat. 七尾旅人

f:id:frkout:20161208002851j:plain

とにかく聴いてくれ。とにかく最高。

www.youtube.com

STUTS - 夜をつかいはたして feat. PUNPEE

f:id:frkout:20161208002625j:plain

今年一番よかったけど僕の稚拙な文章では絶対に伝わらないので SEX山口氏のレビューを引用します

まだ早いかもしれませんが、個人的2016年名曲オブ・ジ・イヤーはこれかなと思っております。 STUTSフィルターを通ったサンプリング・トラックと、PUNPEE自体が狂おしいほどにエモーショナルな展開を生み、 結果として俺たちの「一夜」を完璧な物語としてストーリーテリングしてしまった・・・という傑作曲。 これを聴いてから「どんな一夜も超大事」とファットレースを締め直した次第であります。ありがとう、STUTSとPUNPEEと夜。

DJ Chart | SEX山口 | 2016-11-25 | Record CD Online Shop JET SET / レコード・CD通販ショップ ジェットセット

DJ MITSU the BEATS - Promise in Love feat. Jose James

f:id:frkout:20161208002738j:plain

DJ部でも毎回かけてた Promise in Love 絶対に手に入らないと思ってたけどサクッと再発。ありがとうありがとう。

www.youtube.com

ということで今年はイベント出れなくてすみません。もう長いこと顔出せてないのでもうそろ遊びに行きたいと思ってるので引き続きよろしくお願いいたします。 それとみんなアナログ楽しいのでアナログ触ってみるのおすすめです。デジタルだと簡単にできることも厳しいし針は飛ぶしで修行のようですが心が落ち着きます。 それではどこかでお会いしましょう。

北海道で働いてます

今年の1月から僕の出身地の帯広市で働いています。半年経ちました。

最高な仲間たちと一緒に最高のプロダクト作れているのであとは実績をどんどん出していきたいのと仲間を増やしていきたいです。

除糞したり搾乳したり餌押ししたりプラボックスの加工とかセンサーの取り付けだったり組み込みLinuxやったりgo書いたりAWShadoop/sparkだったりと、土から動物、強電からクラウドそして電波まで超広範囲な技術を扱っていて、これが本物のフルスタックだ!感が出ています。

最近マネジメント業務に寄りつつありますが扱っているデータが比較的綺麗に整っているので今抱えてるリリースが終わったらまたhadoop周りに戻って新しいもの取り込んで尖ったプロダクトにどんどんしていきたいなと思ってます。

 

本物のフルスタックに興味があったり、面白そうだと感じたら気軽に声かけてください。ここには書ききれないたくさんの"技術"について色々と話しましょう。仕事抜きにしても北海道に遊びに来たかったりしてもし来ることあれば適当に呼んでもらえれば嬉しいです。一緒に飲みましょう。

株式会社ドワンゴを退職しました

2013年に新卒で入って3年弱働いた株式会社ドワンゴを12月末で退職します。

12/22最終出社で現在有給消化期間です。

配属された大規模データ分析基盤開発チームで2年半業務し、最後の1年間は開発リーダーを任せていただきました。 ビッグデータとかHadoopをメインにいろいろ自由にやらせてもらえて本当に楽しかったです。

内定後に大量退職があったりしたらしく不安でしたが入ってみたら聞いていた噂とは全然ちがったし、 エンジニアが働く環境としてはドワンゴは最高の会社でした。これからもどんどん良くなっていくんだろうなぁと思います。

ちょっと新しく挑戦してみたいことができたのでクラスチェンジとして退職です。

各位、大変お世話になりました。ありがとうございました。今後共引き続きよろしくお願いいたします。

株式会社ドワンゴを退職しました

ClouderaManagerAPIを使ってHadoopジョブの状況を可聴化する

はじめに

この記事はドワンゴ Advent Calendar 2015 - Qiita および Cloudera Manager Advent Calendar 2015 - Qiita の 12/3 分の記事です。

Hadoopを運用するにあたって欠かせないもの、そうClouderaManager。みなさんもちろんClouderaManager使ってますよね。使ってない人は今すぐ入れましょう。

ClouderaManagerはとにかく最高で、クラスタのセットアップもさくっと終わるし、綺麗なグラフでクラスタの状況わかるし、ユーザが投げているクラスタジョブの状況も見れたりして最高に便利で、僕なんか仕事中の8割位はClouderaManagerのこと気になってしょうがないんだけど、とはいえドキュメント書いたりコード書いたり設計したり会議に出なくてはいけないのでずーっとClouderaManagerを見ているわけにはいかない。

とはいえ運用してるとHadoopクラスタの状況が気になってしょうがないので、ClouderaManagerのAPI経由でHadoopクラスタの様子を可聴化することにした。

ClouderaManagerAPI

ClouderaManagerはほとんどの機能に対してAPIを提供している 

Cloudera Manager API Client

更新操作もできるけど、今回はReadオンリーのユーザであるapiユーザを作成した。 Yarnジョブの様子を見たいときはこんな感じで叩くと取れる

curl -X get http://user:pass@cluster1-cm:7180/api/v7/clusters/cluster/services/yarn/yarnApplications

ドワンゴではHadoopクラスタにジョブを投げる用の内製フロントエンドを作っていて、Jobの様子はJobTrackerUIをスクレイピングして独自UIに表示したりしている。Hadoop2系に移行するときにJobTrackerじゃなくなって困ってたんだけど、ClouderaManagerAPI経由でみんなが使い慣れた画面そのままに移行することができた、本当に便利。

可聴化

neume.js

音のことよくわかってないし、WebAudioとかわからなかったけど使い勝手が良さそうなのでneume.jsを使った。わかりやすくてよかった。

mohayonao.hatenablog.com

ジョブの状況で音を出す

ClouderaManagerではYarnジョブを一覧で見ることができる。 運用しているときだいたい

  • 実行中のジョブ数
  • 実行中のMapper数/Reducer数

あたりを個人的によく見ている、ということで、ジョブのMapper数を音の高さでジョブの数を音の繰り返しで表現することにした。

 

Mapper数が 100,50,100のジョブが走っているときはこんな感じの音が出る
スタートの合図として880Hzの音を鳴らしてからBPM120でMapper数Hzで音が出るようにした。

波形で説明するとこんな感じ

f:id:frkout:20151203165748p:plain

スタートの合図から次の合図までの間隔でジョブ数がわかるし、その間に鳴る音の高さでMapperをどのくらい使ってるジョブなのかがわかって便利。

これをひたすらループする。

 

普通に稼働してる時はこんな感じの音がずっと流れる

Mapper数が大きければ大きいほど頭に刺さる感じになるし、小さいと休符っぽくなったり低音が出て臨場感ある。

 

まとめ

ClouderaManagerAPIとneume.jsでHadoopジョブの状況を可聴化した。
本当はMapperの様子を右耳に出してReducerの様子を左耳に出して、クエリ投げたユーザごとにスケール変えたりジョブ投げてるユーザの人数でBPM変えて賑やかな感じにしたり演奏っぽくしたくていろいろやってたんだけどわけわかんなくなってきて一旦Mapper数とジョブ数だけにした。任意のジョブのMapper数だけわかれば大体傾向つかめるしまぁ問題ないってことでこうした。

ずーっと聞きながら仕事してると大体どんなジョブ走ってるかClouderaManagerを目で見なくても感じ取れることができるので便利。

作ってる途中にめちゃくちゃでかいジョブ来たりして頭ぶっ壊れそうになったりするのでうまいことやらないとそのうち耳壊すと思う。

ログ可聴化について

パソコン向かって仕事してる時、自分へのインプットは目しか使ってない気がするしもっと耳も使ったほうがいいと思った。ついでに背中に電極つけて腰辺りに電流流れてきたからネットワークトラフィック増えてるなみたいなこととかやるともっと体を有効に使えると思う。  

最後に

 ドワンゴではデータ基盤を全身で感じてみたい大規模データ基盤エンジニアを募集しています。

progres05.jposting.net

kosendj-bu #2

KosenDJ-bu #2 | 音楽喫茶 茶箱 sabaco music&cafe

 

予定があって遅刻早退という最悪な感じでほんと感じ悪い感じになって各位には申し訳ない感じ。

 

前日にいきなりそらはーに順番変わってくれってお願いしたり、ヘッドホンとUSBケーブル忘れてといくんから奪ったりして不良だった。それに最初の2曲は左タンテから音出なくて焦ったけど結局針が調子悪い感じで最高のApplicationErrorだった。

 

トラックリスト

1. Kan Sano / Evebody Loves The Sunshine
2. Asayake Production / Spinning a Hold
3. Shingo Suzuki / Sunrise feat. Marina P and Blanco Nice
4. OVALL / Open Your Eyes
5. Shalok Poems / Blooming Sounds
6. Shin-Ski / koyoi feat. Apani B Fly Emcee
7. Shing02 / luv (sic) pt.2
8. EVISBEATS / ゆれる feat. 田我流 inst
9. Shingo Suzuki / Night Lights with thirdiq
10. DJ Mitsu The Beats / Mine Lady
11. DJ Tonk & Noelle / It's Love (Remix)
12. DJ Deckstream / To Be With You
13. DJ Cam Quartet / It's Yours feat Inlove
14. Kenichiro Nishihara / Now I Know feat. Pismo
15. PUNPEE / Chrono Trigger feat. ISSUGI, GAPPER
16. BASI / スタンダード
17. かせきさいだぁ / じゃっ夏なんで
18. 曽我部恵一 / サマーシンフォニーver.2 feat PSG
19. スチャダラパー / サマージャム'95
20. SOUL SCREAM / ひと夜のバカンス
21. Rhymester / フラッシュバック、夏。
22. ケツメイシ / 夏の思い出
23. KREVA / イッサイガッサイ
24. RIP SLYME / 楽園ベイベー

 

前半得意な感じで、後半日本語の夏っぽいので。

次は最初から最後までいるぞー、撮影もするぞー

 

みなさんおつかれさまでした。

絶食中

トマトジュース

野菜ジュース

 

アサイー

牛乳

 

追記:

2年半前にもチャレンジしてたっぽい

http://frkout.hatenadiary.jp/entry/2011/12/20/225119