Isamu Koseda

今は非常に大きな分散ストレージサービスの運用管理をする人　シンプルな（OSSの）ITSMツール的な何かを導入して管理業務の可視化をするのが管理面での課題（のまま）

[Isamu Koseda @koseda0136]

みにしみる。
https://t.co/cryiq2fRiR

[Isamu Koseda @koseda0136]

そーいえば。結局、Aristaのスイッチ2台入ったよ。

[Isamu Koseda @koseda0136]

結局無印M5なPowerBook Proを先週注文して3日ぐらいで届いたが、M5 Pro発表されたなぁ。納期の関係で吊るしの物になってしまったので、M5 Proを待ってもギリ大丈夫だったかも。事務用なんで性能に不満は全くないのだけど、ストレージは2TBにしておきたかったかなぁ。

[Isamu Koseda @koseda0136]

M5 proは来週発表がありそうだけど、年度内納期縛りがあるので在庫があった吊るしのM5に落ち着いた。

[Isamu Koseda @koseda0136]

今週末M5 proのMBP発表があるかもという事なので待ち状態。

[Isamu Koseda @koseda0136]

MBPは、今年度中に更新がほぼ確定。Airで日常業務には支障はなさそうなんだけど、どうなんだろうか？

[Isamu Koseda @koseda0136]

最短パス問題はIB理由に制御不能って事になっていたので、All Ethernetに振り切って新しいシステムは構築し直されたけど根本的な問題が隠れていそう。node_exporterで取るべきデータの指摘もしないと対応しないんだろうなぁ。と、マインド的な課題は何年経っても解決出来ないのは個人的な課題。

[Isamu Koseda @koseda0136]

パーツ手配完了の連絡がすぐあったので、休みの間に預けたら3日で修理完了。引き取りに行って来た。バッテリー交換したので、もう少し使えると思う。

[Isamu Koseda @koseda0136]

バッテリーアラートがまた出てしまったのでApple StoreにMBPを持ち込んでみたが、修理パーツの在庫確認が必要となったので、そのまま持ち帰り。1週間ぐらいで連絡を貰えるとのこと。

[Isamu Koseda @koseda0136]

CUDAもカーネルバージョンアップが先なのか。と2回目（別サーバ）で学ぶ。ドライバーの再インストールで対応したがConnextXも含めてトラップ（制約）色々あるなぁ。

[Isamu Koseda @koseda0136]

別サーバでConnextX-IBが刺さっている物のOSインストールとOFEDのインストールで週末潰れたよ。同じ構成で7月頭にインストールした時は、サクッと1時間ぐらいで終わったので、完全に油断していた。完全には解決していないと思うが時間切れなので、一旦様子見。

[Isamu Koseda @koseda0136]

ConnectXが載ってるRHELなサーバにCUDAをインストールする場合には、CUDAを先にインストールするのか。CUDAのバージョンアップの事は保留にしておく。（最新版入れたし）

[Isamu Koseda @koseda0136]

GrafanaでLokiをデータソースとして登録すれば、GrafanaのAlertingの設定画面で完結する事に気付いた。alertmanager別立てしなくてもいいのか…

[Isamu Koseda @koseda0136]

LokiとAlertmanagerの連携で悩み中… Lokiの設定でalert rule作れば良いらしいのだけど…

[Isamu Koseda @koseda0136]

物理的な最短パスを必ずしも通っていない状況を認識してもらった。

[Isamu Koseda @koseda0136]

複数スイッチのIn/Outカウンターからパケットのルートを自動で作ってくれるツール無いだろうか？手作業してたら1日潰れたよ。

[Isamu Koseda @koseda0136]

400G 36portなboxのEthernet switch ってどれぐらい出ているのだろうか… 聞き慣れ無いベンダー製品も含めて一覧の準備が必要カモ。前職の人に聞くのが早そうなんだけどなぁ

[Isamu Koseda @koseda0136]

rsyslogとLokiの組合せで動作確認完了。冗長化も考えないといけないかなぁ〜。
Push Gatewayはclient側の作り込みが必要なので、もう少し掛かるかも。

[Isamu Koseda @koseda0136]

最低限必要な死活監修はAlertManager+blackbox exporterで構築した。次はsyslog集約とAlertManagerへの基本的な連携機能の確認かな。外形監視の統合方法のベーシックデザインとinfiniband exporterの問題解決も進めないといけないが…

[Isamu Koseda @koseda0136]

MellanoxのIBスイッチって、カウンターオーバーフローしたら0クリアしてくれないとPrometheusと微妙に相性悪い気がする。exporterのコード修正してscrapping時にカウンターリセットしているが、ちょっとどうなんだろうか？単位もイマイチな感じ