はじめに この記事では、タイトルのとおり現時点(2021.01)で最新であるceph(octopus)の構築を目的としています。 また、自分で構築した手順の備忘録を兼ねているので、細かいところで間違いなどあるかもしれません。 基本的には公式のDOCUMENTATIONが必要なことを全て網羅しているので一読しておくことをお勧めします。 Linuxの知識もある程度必要になるので他サイトや書籍などで事前に基本は押さえておくとよいでしょう。 準備編等は関連記事を参照してください。 関連記事 Ceph(Octopus)の構築(準備編 ハードウェア) Ceph(Octopus)の構築(準備編 ソフトウェア) Ceph(Octopus)の構築(設定編 共通) Ceph(Octopus)の構築(設定編 ブートストラップ) Ceph(Octopus)の構築(設定編 mon/mgr/osd) この記事 キーの配布 cephクラスタに参加するためのキーと、sshを使ってrootアクセスするためのキーを各ノードへ配布しておきます。これは、ブートストラップを実行したceph-mon01から行います。 クラスタ用のキーは必須です。root用はsshを使って管理をすることを考えているのであればやっておいた方がよいでしょう。 cephクラスタ用 sshpass -p "rootのパスワード" ssh-copy-id -f -i /etc/ceph/ceph.pub -o "StrictHostKeyChecking no" ceph-mds01 root用 sshpass -p "rootのパスワード" ssh-copy-id -f -i ~/.ssh/id_rsa.pub -o "StrictHostKeyChecking no" ceph-mds01 上記コマンドはceph-mds01用の例です。他ノードも同様に行います。 なお、cephクラスタ用のキーはブートストラップを実行したタイミングで自動生成されています。root用はCeph(Octopus)の構築(設定編 ブートストラップ)で作成しているものです。 ノードの追加 ノードはまずクラスタへ参加し、その後各役割のdaemonを動かします。クラスタへ参加させる作業はブートストラップを実行したmonノードから行います。 cephadm shell ceph orch host add ceph-mds01 ceph orch host add ceph-osd01 ceph orch host add ceph-osd02 ceph orch host add ceph-osd03 ceph orch host add ceph-mon11 ceph orch host add ceph-mds11 ・・・ 各daemonの追加 各daemonの追加もブートストラップを実行したmonノードから行います。 mon cephadm shell ceph orch daemon add mon ceph-mon11 ceph orch daemon add mon ceph-mon21 mgr cephadm shell ceph orch daemon add mgr ceph-mon11 ceph orch daemon add mgr ceph-mon21 osd cephadm shell ceph orch daemon add osd ceph-osd01":/dev/sdb" ceph orch daemon add osd ceph-osd02":/dev/sdb" ceph orch daemon add osd ceph-osd03":/dev/sdb" ceph orch daemon add osd ceph-mon01":/dev/sdb" ceph orch daemon add osd ceph-mds01":/dev/sdb" ・・・ dashboardの確認 ここまでくるとcephクラスタのステータスもHEALTH_OKとなっているはずです。 dashboardの各項目を確認して、意図したとおりの構成になっていることを確認しておきましょう。 cephクラスタのステータスは以下コマンドでも確認できます。 cephadm shell ceph status おわりに 上記以外にmdsのdaemonが必要ですが、cephFSのボリュームを先に作成する必要があるので後の記事に書こうと思います。 以降はcephFSを使うための記事になるので、cephをオブジェクトデバイスやブロックデバイスとして使う場合は他のブログ等を参考にしてください。 余談ですが、octopusのdashboardのログイン画面は、蛸がかなり主張しているデザインですが私は好きです。
この記事では、タイトルのとおり現時点(2021.01)で最新であるceph(octopus)の構築を目的としています。 また、自分で構築した手順の備忘録を兼ねているので、細かいところで間違いなどあるかもしれません。
基本的には公式のDOCUMENTATIONが必要なことを全て網羅しているので一読しておくことをお勧めします。 Linuxの知識もある程度必要になるので他サイトや書籍などで事前に基本は押さえておくとよいでしょう。
準備編等は関連記事を参照してください。
Ceph(Octopus)の構築(準備編 ハードウェア) Ceph(Octopus)の構築(準備編 ソフトウェア) Ceph(Octopus)の構築(設定編 共通) Ceph(Octopus)の構築(設定編 ブートストラップ) Ceph(Octopus)の構築(設定編 mon/mgr/osd) この記事
cephクラスタに参加するためのキーと、sshを使ってrootアクセスするためのキーを各ノードへ配布しておきます。これは、ブートストラップを実行したceph-mon01から行います。 クラスタ用のキーは必須です。root用はsshを使って管理をすることを考えているのであればやっておいた方がよいでしょう。
sshpass -p "rootのパスワード" ssh-copy-id -f -i /etc/ceph/ceph.pub -o "StrictHostKeyChecking no" ceph-mds01
sshpass -p "rootのパスワード" ssh-copy-id -f -i ~/.ssh/id_rsa.pub -o "StrictHostKeyChecking no" ceph-mds01
上記コマンドはceph-mds01用の例です。他ノードも同様に行います。 なお、cephクラスタ用のキーはブートストラップを実行したタイミングで自動生成されています。root用はCeph(Octopus)の構築(設定編 ブートストラップ)で作成しているものです。
ノードはまずクラスタへ参加し、その後各役割のdaemonを動かします。クラスタへ参加させる作業はブートストラップを実行したmonノードから行います。
cephadm shell ceph orch host add ceph-mds01 ceph orch host add ceph-osd01 ceph orch host add ceph-osd02 ceph orch host add ceph-osd03 ceph orch host add ceph-mon11 ceph orch host add ceph-mds11 ・・・
各daemonの追加もブートストラップを実行したmonノードから行います。
cephadm shell ceph orch daemon add mon ceph-mon11 ceph orch daemon add mon ceph-mon21
cephadm shell ceph orch daemon add mgr ceph-mon11 ceph orch daemon add mgr ceph-mon21
cephadm shell ceph orch daemon add osd ceph-osd01":/dev/sdb" ceph orch daemon add osd ceph-osd02":/dev/sdb" ceph orch daemon add osd ceph-osd03":/dev/sdb" ceph orch daemon add osd ceph-mon01":/dev/sdb" ceph orch daemon add osd ceph-mds01":/dev/sdb" ・・・
ここまでくるとcephクラスタのステータスもHEALTH_OKとなっているはずです。 dashboardの各項目を確認して、意図したとおりの構成になっていることを確認しておきましょう。 cephクラスタのステータスは以下コマンドでも確認できます。
cephadm shell ceph status
上記以外にmdsのdaemonが必要ですが、cephFSのボリュームを先に作成する必要があるので後の記事に書こうと思います。 以降はcephFSを使うための記事になるので、cephをオブジェクトデバイスやブロックデバイスとして使う場合は他のブログ等を参考にしてください。 余談ですが、octopusのdashboardのログイン画面は、蛸がかなり主張しているデザインですが私は好きです。
1.はじめに ここに書いてある手順は、Pyinstallerによって推奨されていません。(こちらを参照) また、動作するかどうか、かなり微妙です。 出力されるファイルが正常でない可能性もあります。 それでもいいという方のみ先へお進みください。 また、すべてのこの記事の内容の実行についての責任はこの記事の読者側にあります。 環境がおかしくなったりしても、責任はとれません。 それでもいいという方のみ先へお進みください。 2.前提 多分、wine_stableが入れば勝ちです。 バージョンは、6.0.0と、5.0.3で動きました。(環境に依存しそうですが。) 動作報告お待ちしてます。 Pythonは64bit and 32 bit 3.8.5はテスト済みです。 これも動作報告お待ちしてます。 また、ここでは、linux用バイナリについてではなくて、windowsのexeを生み出す方法を紹介しています。 念のため書いときます。 3.wineインストール! Ubuntuの方はこちら Debianは、こちら をご覧の上、Stableをインストールしてください。 4.Pythonインストール! Pythonをインストールします。 まあ、使いたいバージョンをここから落としてきてください。installerですよ？exeですからね？ Windows版Pythonはバージョンが共存できるので、複数入れるのもありです。 インストール時の設定は、弄らずに、Recommandedで入れましたが、これは別になんでもいい気もします。 5.PyInstallerインストール! う〜ん...それにしてもこの記事てきと〜だな... えっと、以下のようにして、Pyinstallerを突っ込みます。 wine py [-3-32とかのバージョン指定] -m pip install PyInstaller これで入るでしょう。(超なげやり) 6.いざ実行。 緊張の瞬間です... とりあえず、なんでもいいのでやってみましょう。 念のため、テスト用コード置いときます。 test.py print("test")#適当の極み まあ、実行してみましょう。 wine py [-3-64とかのバージョン指定] -m pyinstaller [ファイル名] できたら赤飯を炊きましょう。 以上です。
ここに書いてある手順は、Pyinstallerによって推奨されていません。(こちらを参照) また、動作するかどうか、かなり微妙です。 出力されるファイルが正常でない可能性もあります。 それでもいいという方のみ先へお進みください。 また、すべてのこの記事の内容の実行についての責任はこの記事の読者側にあります。 環境がおかしくなったりしても、責任はとれません。 それでもいいという方のみ先へお進みください。
多分、wine_stableが入れば勝ちです。 バージョンは、6.0.0と、5.0.3で動きました。(環境に依存しそうですが。) 動作報告お待ちしてます。 Pythonは64bit and 32 bit 3.8.5はテスト済みです。 これも動作報告お待ちしてます。 また、ここでは、linux用バイナリについてではなくて、windowsのexeを生み出す方法を紹介しています。 念のため書いときます。
Ubuntuの方はこちら Debianは、こちら をご覧の上、Stableをインストールしてください。
Pythonをインストールします。 まあ、使いたいバージョンをここから落としてきてください。installerですよ？exeですからね？ Windows版Pythonはバージョンが共存できるので、複数入れるのもありです。 インストール時の設定は、弄らずに、Recommandedで入れましたが、これは別になんでもいい気もします。
う〜ん...それにしてもこの記事てきと〜だな... えっと、以下のようにして、Pyinstallerを突っ込みます。
wine py [-3-32とかのバージョン指定] -m pip install PyInstaller
これで入るでしょう。(超なげやり)
緊張の瞬間です... とりあえず、なんでもいいのでやってみましょう。 念のため、テスト用コード置いときます。
print("test")#適当の極み
まあ、実行してみましょう。
wine py [-3-64とかのバージョン指定] -m pyinstaller [ファイル名]
できたら赤飯を炊きましょう。 以上です。
Linuxって何？ LinuxはOSの一種で、コンピュータを動かすための基本ソフト OSの種類 ・Windows ・macOS ・Linux ・Android シェルって何？ シェルはLinuxのCLIを提供するソフトウェア。ユーザーとLinuxカーネルの仲介役（カーネルのインターフェイス）をしている ＊CLIとは、キーボードからコマンド入力し、文字列として結果を出力するインターフェイス シェル画面 ユーザー名、ホスト名、プロンプトがシェルでは表示せれている。プロンプトは「コマンド入力を待ってるから、コマンド入力してね」というシェルが持っている記号 ターミナルとシェル Linuxを操作するときはターミナルにコマンドを入力する ターミナルは入出力の画面を提供するソフトウェア。 なのでターミナルとシェルは別物なので注意！ ・ターミナルは画面を担当するソフトウェア ・シェルはコマンドを解釈するソフトウェア
LinuxはOSの一種で、コンピュータを動かすための基本ソフト
OSの種類 ・Windows ・macOS ・Linux ・Android
シェルはLinuxのCLIを提供するソフトウェア。ユーザーとLinuxカーネルの仲介役（カーネルのインターフェイス）をしている
＊CLIとは、キーボードからコマンド入力し、文字列として結果を出力するインターフェイス
ユーザー名、ホスト名、プロンプトがシェルでは表示せれている。プロンプトは「コマンド入力を待ってるから、コマンド入力してね」というシェルが持っている記号
Linuxを操作するときはターミナルにコマンドを入力する ターミナルは入出力の画面を提供するソフトウェア。 なのでターミナルとシェルは別物なので注意！
・ターミナルは画面を担当するソフトウェア ・シェルはコマンドを解釈するソフトウェア
通信速度を監視する nloadをインストール sudo apt install nload nloadを実行 nload 実行結果 CPU負荷率を監視する htopをインストール sudo apt install htop htopを実行 htop 実行結果 ディスクを監視する iotopをインストール sudo apt install iotop iotopを実行 sudo iotop 実行結果 電源を監視する powertopをインストール sudo apt install powertop powertopを実行 sudo powertop 実行結果
nloadをインストール
sudo apt install nload
nloadを実行
nload
実行結果
htopをインストール
sudo apt install htop
htopを実行
htop
iotopをインストール
sudo apt install iotop
iotopを実行
sudo iotop
powertopをインストール
sudo apt install powertop
powertopを実行
sudo powertop
CentOS終了その後 2020年12月8日のCentOS終了のアナウンスは衝撃が大きかったようで、筆者が書いた次のエントリが好評だ。 CentOSからCentOS Streamへ。CentOS終了の衝撃 その後、オルタナティブCentOSとしてRocky Linuxなど、いくつかのRHEL互換ディストリビューションの発表が続いていた。すると2021年1月20日にRED HAT BLOGに以下の記事がポストされた。 Need a stable, RHEL-compatible alternative to CentOS? Three reasons to consider Oracle Linux RHELは一部無料になる？ 詳しくは上記ブログを読んでほしいが、重要なところを抜き出すと以下のとおり。 開発者向けのRed Hat Developer programでは、これまでも1台のマシンで無償利用できた。 Red Hat Developer programの条文（Individual Developer subscription for RHEL）を拡張し、今後は最大16台の本番運用目的マシンで利用できるようになる。2021年2月1日以降までには実施予定。 新しいDeveloper programはオンプレミスだけでなく、AWSやGoogle Cloud、Azureなどでも利用できる。 プログラムが正式に開始されたわけではないので詳細なことは今後次第だが、個人ユーザーは助かるだろう。とはいえ、CentOSを大規模利用しているエンタープライズユーザーは世界でもけっこういそうなのだけれど。
2020年12月8日のCentOS終了のアナウンスは衝撃が大きかったようで、筆者が書いた次のエントリが好評だ。
CentOSからCentOS Streamへ。CentOS終了の衝撃
その後、オルタナティブCentOSとしてRocky Linuxなど、いくつかのRHEL互換ディストリビューションの発表が続いていた。すると2021年1月20日にRED HAT BLOGに以下の記事がポストされた。
Need a stable, RHEL-compatible alternative to CentOS? Three reasons to consider Oracle Linux
詳しくは上記ブログを読んでほしいが、重要なところを抜き出すと以下のとおり。
プログラムが正式に開始されたわけではないので詳細なことは今後次第だが、個人ユーザーは助かるだろう。とはいえ、CentOSを大規模利用しているエンタープライズユーザーは世界でもけっこういそうなのだけれど。
CentOS終了その後 2020年12月8日のCentOS終了のアナウンスは衝撃が大きかったようで、筆者が書いた以下の記事が好評だ。 CentOSからCentOS Streamへ。CentOS終了の衝撃 その後オルタナティブCentOSとして、Rocky Linuxなど、いくつかのRHEL互換ディストリビューションの発表が続いていた。すると、2021年1月20日のRED HAT BLOGに以下の記事がポストされた。 New Year, new Red Hat Enterprise Linux programs: Easier ways to access RHEL 2021/01/22追記：ZDNet JapanやPublickeyも取り上げていますね。 ZDNet Japan: レッドハット、開発／小規模本番ワークロード向けにノーコスト版RHELを導入へ--Red Hat Developerプログラム Publickey: 個人開発者はRed Hat Enterprise Linuxを無料で最大16システムまで利用可能に、本番環境もOK。Red Hatが開発者向けプログラムの拡大を発表 RHELは一部無償になる？ 詳しくは上記ブログを読んでほしいが、重要なところを抜き出すと以下のとおり。 開発者向けのRed Hat Developer programでは、これまでも1台のマシンで無償利用できた（開発目的に限る）。 Red Hat Developer programの条文（Individual Developer subscription for RHEL）を拡張し、今後は最大16台のマシンを本番運用目的で利用できるようになる。2021年2月1日以降までには実施予定。 新しいDeveloper programはオンプレミスだけでなく、AWSやGoogle Cloud、Azureなどでも利用できる。 プログラムが正式に開始されたわけではないので、詳細は今後次第だろう。とりあえず個人ユーザーや小規模ユーザーは助かるかもしれない。 とはいえ、CentOSを大規模利用しているエンタープライズユーザーは世界でもけっこう多そうなのだけれど…。 なお、変更前のRed Hat Developer programのFAQはこちら。 FAQs for no-cost Red Hat Enterprise Linux
2020年12月8日のCentOS終了のアナウンスは衝撃が大きかったようで、筆者が書いた以下の記事が好評だ。
その後オルタナティブCentOSとして、Rocky Linuxなど、いくつかのRHEL互換ディストリビューションの発表が続いていた。すると、2021年1月20日のRED HAT BLOGに以下の記事がポストされた。
New Year, new Red Hat Enterprise Linux programs: Easier ways to access RHEL
2021/01/22追記：ZDNet JapanやPublickeyも取り上げていますね。
プログラムが正式に開始されたわけではないので、詳細は今後次第だろう。とりあえず個人ユーザーや小規模ユーザーは助かるかもしれない。
とはいえ、CentOSを大規模利用しているエンタープライズユーザーは世界でもけっこう多そうなのだけれど…。
なお、変更前のRed Hat Developer programのFAQはこちら。
はじめに システム内での容量確認のため、dfやduコマンドを利用する事は多い。 そこでdufという容量可視化ツールをmacで利用していた。 便利であったため、同様にDocker内のalpineへも展開する必要が発生。 今回は、Docker内のAlpineLinuxへのdufの導入を記録する。 環境 alpine:edge 手順 必要ファイルの取得 以下のコマンドで、任意の場所に必要なバイナリを取得する。 apkのパッケージとして用意されていないため。 wgetコマンドがなければ、curlコマンドで代替。 # 取得場所の作成・移動 mkdir ~/work cd ~/work # バイナリの取得 wget https://github.com/muesli/duf/releases/download/v0.5.0/duf_0.5.0_linux_amd64.apk ※ wget: bad address 'github.com'のようなエラーが出た場合のみ、/etc/resolve.confを以下のようにを変更 /etc/resolve.conf # This file is included on the metadata iso nameserver 8.8.8.8 # 変更 導入 以下のコマンドで、バイナリからdufを取得。 # dufの取得 apk add --allow-untrusted duf_0.5.0_linux_amd64.apk ※error出力が出るが、利用可能状態ではある。 確認 以下の画面のコマンドのように利用可能か確認。 ※以下、各便利オプションの例。詳細はこちらを参考 参考 Github https://qiita.com/reoring/items/116e0c19705f602d8f56 https://www.cyberciti.biz/open-source/command-line-hacks/duf-disk-usage-free-utility-for-linux-bsd-macos-windows/#comments
wget
curl
# 取得場所の作成・移動 mkdir ~/work cd ~/work # バイナリの取得 wget https://github.com/muesli/duf/releases/download/v0.5.0/duf_0.5.0_linux_amd64.apk
wget: bad address 'github.com'
/etc/resolve.conf
# This file is included on the metadata iso nameserver 8.8.8.8 # 変更
duf
# dufの取得 apk add --allow-untrusted duf_0.5.0_linux_amd64.apk
