2019/08/26 Week Release Note

雑感

  • 気がついたら8月も終盤・・・

8/26

kanikoを使ったイメージのビルド

実行したら、ワーカーが1台OOMしてえらいことになりました。
幸いなことに、前回の全滅事件で、できるだけresourceのrequestを設定していたので
いくつかのコンテナが移動したあと、メモリ不足で移動がpendingされて停止しました。

しかし、PostgreSQLが突然死したことで次回起動時にリカバリ処理が走るのですが、
リカバリ処理中にヘルスチェックが失敗してコンテナがシャットダウンされてしまうという
事態が発生しました。(一部用語で腹筋)
これについて対応しようとすると副作用がキツイのでどうしたものか・・・

ちなみに

kanikoのジョブに resourceが抜けていたので走ってはいけないノードで走ってしまった。
・・・なお、走ってはいけないノード とは全てのノードである。

1
Warning  FailedScheduling  36s   default-scheduler  0/4 nodes are available: 4 Insufficient memory.

正直、このメモリ量だと3.5GB * 3ノードより5.25GB * 2 ノードの方が良いのではないか疑惑ある

zabbixのアラート

mastodonアラートが死んでいたので修正。

メルカリ

出品していたものが大体売れたので大満足。これでバイクのバッテリ注文できる。

ThinkCentre一台売却

ご購入ありがとうございました。

8/27

財団のfavicon

コピるだけなので直す。nginxのキャッシュ削除忘れない

8/31

メモリ増設。

ついに64GBに。しかし苦労した。
マザーボードは ASRock X370 Gaming K4
メモリは Corsair Vengeanse LPX (Red)

今日踏んだ事故(ハードウェア)
・BIOSバージョン P5.30
・メモリ4枚だと起動しない
・メモリ3枚なら起動する
・メモリの速度をDDR4-1866にするが起動しない
・BIOSバージョンUP P5.30 -> 5.40
・やっぱり起動しない
・メモリを2枚にして起動させて、XMP Profileを有効にする
・メモリのCAS Latency の設定が 15-15-15-36 というあり得ない値になっていたので、 16-18-18-36に変更

→DDR4-1866だと起動しないがDDR4-2666だと起動する(意味不明)

今日の事故(ソフトウェア)

・全ノードdrainして復帰後、1ノード復帰させたらメモリが足りてしまうせいで全部のコンテナがその1ノードにスケジュールされた

・k8sの全ノードが FS-Cache: Duplicate cookie を吐いてNFSマウントできない
→ NFSサーバーのIPアドレスがなぜか消えていた
→ netctlで設定してたがなぜか有効にならない
→ 仕方ないので systemd-networkd にお願いしたら上手く行くように。
→ 復活。 FS-Cache のログを追ってしまって無駄に時間を費やしてしまった。

9/1

アコスタ見に行った

かわいい。東方コスの人は相変わらず少ない。
にしても暑くて死にそうだった。

ThinkCentre一台売却

ご購入ありがとうございました。二台目は財団のサーバーになったことのある由緒正しい子なので
ちょっと強いです。メモリが8GBになっていたりとか。

TODO

k8sに移動したことによって壊れている単純なジョブの修正

  • バックアップ
  • テストインスタンスバックアップ
  • misskeyインスタンスバックアップ
  • 財団バックアップ
  • 統計情報取得(DB部分)
  • sidekiq統計取得
  • 週次メンテナンスジョブ
  • 月次メンテナンスジョブ

k8sの仕組みでオートデプロイ再構築

  • fastladder
  • writefreely
  • misskey
  • テストインスタンス
  • 本番インスタンス

writefreely への文書コピー

本当にコピー

職務経歴書

  • 外枠(プロジェクト名と日付)
  • フォーマット統一
  • プロジェクトの中身 (2018)
  • プロジェクトの中身 (2017)
  • プロジェクトの中身 (2016)
  • プロジェクトの中身 (2015)
  • プロジェクトの中身 (2014)
  • プロジェクトの中身 (2013)
  • プロジェクトの中身 (2012)
  • プロジェクトの中身 (2011)
  • プロジェクトの中身 (2011より前)
  • 自己PR

進捗ありません!

痩せる

  • プールに行って泳ぐ