Docker Part4

Linuxが持つコンテナ技術を使った、仮想マシン必要ないアプリケーション仮想化技術で
アプリケーションのデプロイが用意になります

Docker（アプリ仮想化）は仮想マシンと併用して使うことで最も効果を発揮し
開発・テストで使ったDockerイメージと全く同じものを本番環境で使えます
さらにWindowsとmacOSでも同じDockerイメージが動きます。
（Linuxは仮想マシンが不要ですが、WindowsとmacOSは仮想マシン技術を併用して実現しています。）

Dockerイメージ（Dockerfile）はアプリケーション開発者が作成します
動かすのに必要なもの全てがDockerイメージに含まれるので
インフラ担当者はそれを動かすだけ、本来のインフラの作業に集中できるようになります

Dockerは主にウェブ業界でサービスのデプロイの必須技術になりました
情報共有しましょう

http://www.docker.io/

前スレ
Docker Part3
https://mao.5ch.net/test/read.cgi/linux/1552023620/


注意　同じコンテナ技術を使うが異なるアプローチで仮想マシンの
代替を目指しているのがLXC。目的が全く異なるので注意
LXC(Linux Containers)
https://mao.5ch.net/test/read.cgi/linux/1330826939/

>>777
そう簡単な話ではない。開発用イメージには、運用用イメージに加えて
開発用のツールやライブラリを含めなければいけない

どちらにしろ、開発用イメージはそのまま運用で使うことはできない
これが大前提。だから別々に作らなければいけないが
それするぐらいなら開発にはDockerを使わないほうがいい

使用する言語のバージョンやライブラリを統一するのは
Dockerを使わずともできる

>>778
うん、そういうケースがあるのは分かるけど、ライトなWeb開発とかだとこれで必要十分なことも多いよね。
あとは商用向けはマルチステージビルドで成果物だけ持ってくるとかできるし。

開発者の裁量で好きなように開発すればいい
テストさえしっかりしてれば何も問題はない
しかし好きにしろとは言ってもプロジェクトとして推奨構成をas codeで提示したほうが親切だろうな
ならDockerfileとdocker-compose.ymlが最も手軽だろう

>>772
>本番環境は別にdockerfile(もしくはdocker-compose.yml)を作っていますか？

別です。
開発環境のDockerは本番機よりもっと簡略化されている
サーバー証明書もオレオレ。
あくまでも、うちのケースの話ね。

>本番環境ではソースコードをイメージの中に入れたいのですが
>開発環境ではソースコードはホスト側に置いて、マウントしたいです

それで良いんじゃないの？
開発環境はdocker-compose.override.ymlで開発担当部分のみvolumesで上書きとか。

>とはいえ別ファイルにすると(ソースコードをマウントしている)開発環境では動くけど、(ソースコードをイメージの中に含んでいる)本番では動かない
という可能性も出てきてしまう気がして..

何故、開発機の次が本番機なのさｗ？
テスティングやステージングは？問題があるなら、そこでわかるでしょう。

k8s は、マスターは多数決で決めるから、分散数は奇数にして、3, 5, 7 個

ラックの電源断に備えて、ラックも別々。
データセンターの災害に備えて、データセンターも別々

こんな安全性を考えるのは、大企業

多数決ってなに？
する意味あるの？

Ruby on Rails の場合は、Heroku, Cloud9 が最短。
git push するだけで、デプロイ完了！

他には、CircleCI, Capistrano
Chef, CookPad 製のItamae

Terraform

ネットワーク分断の場合に、
どれがマスターに格上げされるかを、多数決で決める

多数決には過半数が必要だから、ミニマムで、2:1。
だから分散数は、3, 5, 7 個と奇数にしておく

2個は、1:1 になるから、過半数を取れない。
4個でも、1:3 なら過半数を取れるが、2:2 になったら過半数を取れない

Raft という分散合意システムで、HashiCorp のConsul でも使っている

そろそろスレチと言う気がしてきたな。
k8sの話したいのなら、航海1日目に行けよ。

Kubernetes 航海1日目
https://mao.5ch.net/test/read.cgi/linux/1553389453/

超過疎スレなので来てやってください

>>786
奇数から1台死んだら偶数になって多数決で分断が起こるのでは？

docker pull django:latestってやるとバージョンが1なんですけど
古くないですか？

>>789
多数決と言っているのはクラスタを構成するノードに対する比率を言っているのでは？
３ノード構成で２ノード生きているなら継続するよ、と。
あと分断耐性で言っているのはネットワークなので必ずしもノードが死んでいるとは限らない様な気がする。
クライアントからノード１、２には到達できるけど、３に到達する為のルーターが障害とかね。

>>790
「古い」と答えてほしいのか？

>>792
いえ、どうして２でもなく３でもないのかな、と。
これならdockerhubからよりもベースpythonでpipしないといけないような

>>793
django2とか３とをpullすりゃ良いんじゃね？
https://hub.docker.com/_/django
DEPRECATED　と大書きているだろうが。

はい非推奨は知っていたのですが
オフィシャルイメージかつcopy and paste to pull this imageのプリントがそのままなので
他の方法やバージョン1でも問題がないのかと思っていました

非推奨と書いてあるのが読めて最終更新日からどれだけメンテナンスされてないか確認できたら
問題ないかどうか判断できるよね

その判断の仕方だとどちらにも取れるのでは
問題かどうかは主にpythonのバージョンに依存するような・・
要は問答無用で１は非推奨なのか、安定版なのか
みたいな

「自分の環境にとって許容範囲かどうか判断できるだろ」って意味じゃないの
だからどちらとも言う必要がない

それはdjangoのほぼ全部の仕様把握してないと無理

Django のバージョンが分からないのは、おかしい。
自分で使うバージョンを決めるものだから

Ruby on Rails なら、6 の本が有名著者で、6冊以上出ている。
黒田努、掌田津耶乃、パーフェクト・シリーズなど

それに、5・6 の違いをまとめた本も出ている。
だから、4 は相当古いと誰でも分かる

どうして急にRoRの話しだすの... こわいんだけど

RoRの事しか知らないからだろ。
わかって無いけど会話に参加したい（デキる男感をアピールしたい）
初心者心理。

Dockerを仮想マシンのよう使う人って未だに居るんだな

べつにいいでしょ
ツールが使い方を決めるんじゃなくて人が使い方を決めるんやで

仮想マシンのように使うって具体的にはどういうことなんだろ

Docker, Kubernetes は、immutable。
状態を持たない

すべて破棄してから、作るのが基本。
サイボウズのkintone では毎日、破棄してから作っている

AWS などを知らない香具師が、コンテナ内に状態を持とうとする。
クラウド・コンテナの機能の、区別ができない香具師

Cloud Native Computing Foundation(CNCF)の卒業プロジェクト、
Kubernetes, Prometheus, Envoy, CoreDNS, containerd, Fluentd

他には、はてなのMackerel, DataDog, Elasticsearch などを、知らない香具師。
コンテナを仮想マシンのように使うなって、延々と言われているw

と無職が申しております

ググった単語を色々並べて、頑張ってるなｗ
散文詩みたいで意味がさっぱり通じないｗ

匿名掲示板でそんなに俺できるぜ感をアピールしたいの？なんで？
その心理がサッパリ分からないｗ

と言ってみた

>>739
すいませんポート開くの忘れてただけだった

$ docker run -itd -v /root:/var/www/html [イメージID] bash
を
$ docker run -itd -v /root:/var/www/html -p 8000:8000 [イメージID] bash
とやればできた

が、今度はcgi-bin内にアクセスしようとするとダウンロードになってしまう
・cgi-binとcgi-bin/sample.pyのパーミッションを755
・sample.pyの一行目に#!/usr/bin/env python
・改行コードはLF
とやっても
PermissionError: [Errno 13] Permission denied: '/var/www/html/cgi-bin/sample.py'
が出てしまう

自分のホストPCでローカル環境なら大丈夫だった
あとplay with dockerでnginxを介した場合は大丈夫だった

香具師ってここ5年くらいで初めて見た気がする

>>810
pythonのhttpdって誰の権限で動いてるんだろう？
（分からないけど）/root/cgi-bin/ (?)に対する権限を持っているのだろうか？
結局コンテナに入ってプロセスの実行者とディレクトリの権限を確認しないと分からない気がする。

>>812
/var/www/html/cgi-bin/sample.py
のvarもwwwもhtmlもcgi-binも
全部 chmod 755したら無事
ウェブからsample.py実行できた・・
権限許可はvar/www/htmlの下のcgi-bin以下だけでいいのかと思ってた

>>813
で、誰が動かしているのか理解して、0755にしたの？

Docker compose stopでコンテナ止める時って結構時間掛かるのに
OSに対してシャットダウン掛けると即時停まるんだけど
これは本来保存されるべきデータが消えてる可能性ってある？
サービスかなんかでシャットダウン時に自動で何かデータを書き出すような処理入れるべきなのかな？

そりゃタイミング悪けりゃ消えるよ
当たり前じゃん

>>815
>Docker compose stopでコンテナ止める時って結構時間掛かるのに

docker stopコマンドは10秒程度で止まるように優先度を掛けてくるから。

https://www.ctl.io/developers/blog/post/gracefully-stopping-docker-containers/

When you issue a docker stop command Docker will first ask nicely for the process to stop
and if it doesn't comply within 10 seconds it will forcibly kill it.

docker-compose stop --time=1 とかすれば、結構即時に近い形で止まるように見える。
動いてるコンテナの重要度は自分で把握しているだろうから、永続データ無いのなら
time=1で良いんじゃね？とはいえmysql postgresとかあるなら危ないだろうけど。
VM上で動かしたとしても、そんなに早くは落ちないだろうし。

Dockerコンテナ内のcrontab -eで、デーモンのスケジュール再起動を任せたら、
oom Killerでホストが倒れてしまった。ホストにsshログインもできない状態に陥って大変あせった。データもっていかれるかと思ったが、再起動でなんとか復帰できた。

ホストは2GB程度だが、そのコンテナ内でこのデーモンは1G程度も消費する。
デーモンの再起動のタイミングで、メモリ溢れが発生したようだ。

そこで、ホストにおいて、docker restart コンテナとするようにした。
そうすると、メモリ溢れなく、安全にコンテナごとデーモンの再起動ができたので報告しておく。

>>811
香具師／野師／野士／弥四（やし）とは。
意味や解説、類語。盛り場・縁日・祭礼などに露店を出して商売したり、
見世物などの興行をしたりする人。
また、露天商の場所割りをし、世話をする人。
的屋 (てきや) 。 - goo国語辞書

そういうことじゃないから...
アスペムーブやめてほしい

>>818
コンテナ内で何のプロセス動かしてんの？

>>821
iaxmodemを複数個

>>822
iaxmodemだけなら小さい消費だが、
それらをfaxgettyさせてhylafaxに接続すると、
5倍くらいに膨れ上がった。

コンテナ内でのサービス再起動時にメモリが溢れるってのもよくわからんが、そのサービスの再起動の動作が特殊なのかね
再起動のための停止時には一時的にメモリ使うとか？

コンテナごと再起動するなら内部のサービスは通常の停止（あるいは強制停止？）＋起動だろうから、メモリに問題ないのはまあわかる

どっちにしろdockerというよりサービス固有の事情に見える

>>824
参考になります。

iaxmodemが始動されると、プロセスが生成されます。
その後、hylafaxを始動させて、
さらに別途faxgettyによって、両者を連結させるイメージです。（3者登場します。そのうち、iaxmodemと、faxgettyはたくさん。hylafaxとは、多対１の関係になっています。）

>>823のように、iaxmodemだけでは専有容量は僅かなんですが、
faxgettyさせると、膨れ上がります。

faxgettyは、hylafaxの関係者なので、
hylafaxがガーベージコレクトするようです。

以前テストした結果は、hylafaxの再起動時には、直ちにfaxgettyプロセスは消滅しました。

しかし、今回の環境ではそういう風にならなかったようです。
前回の環境はCentOS6でネイティブ、今回はCentOS7でコンテナです。
iaxmodemや、hylafaxのバージョンも上がっています。

いずれにしても、デーモンの再起動が特殊です。

逆に考えて、ネイティブ環境でも他の要因で同じ問題を引き起こすなら、
コンテナ環境であってよかったと思います。
docker restart faxContainerをcrontabでコンテナの外側ホストでスケジュールすれば良いのですから。

コンテナ内部でそういうデーモンの消滅のスケジュールを組むと、イメージ化されていることからタイミングの変更が困難になるので、
せっかくの利便性を損なうと思いました。
docker restart faxContainer　は素晴らしいです。

俺はどちらかといえば「Dockerコンテナは仮想マシンじゃない」方の思想に近いから
コンテナごと再起動するのは普通というか自然だけど荒れるかな

そもそも個別ソフトの事情でメモリ食いすぎるなら、ホストでOOM起こすくらいならコンテナにリソース制限するのがいいのでは

Linux上でchrootを仮想マシンと思うやつは、どうにかしている。

>>826
荒れるっていうか・・・・
その事に対してコダワリ持ってるのって一人だよね？

殆どの参加者は、そもそもどうでもいい話題で、そいつの書き込みに
反応するのは、そいつがなぜ、VMじゃないからどうのこうのと反発する
必要があるのか分からないから。

イスラム原理主義者に向かって暴力行為やめろよ。そもそも宗教なんて
どうだって良いだろ？と言うのと変わらない。

0番の親プロセスから連鎖的に、必要な環境（ディストリ標準体系）を組みた立てていくということを、「仮想マシン」とよんでいるだけですよね。
それに対して、例えば、helloworldバイナリを実行するだけなのが、非「仮想マシン」ということですよね。

前者は、systemctlによるコントロールができて楽です。
また、アプリを構成するデーモンに依存関係がる場合はとても楽です。

しかし、後者はそういう構成を組むのに別途考慮が必要になるのでお手軽さがなくなり、せっかのコンテナがとっつきにくくなってしまいます。

こういう認識を持っているのです。

>>829
必要な環境（ディストリ標準体系）と言いましたが、最初にcentos7をdocker ハブから引っ張ってきているので、標準体系にはならないですよね。

最初に何が入っているのか知らないけど、

docker run --privileged -d --net=mynetwork --name centos7 centos:centos7 /sbin/init

のようにすれば、いわゆる「仮想マシン」風の操作性のコンテナができます。

あとは、yumなどでパッケージを導入すれば、
systemctlで制御ができます。

--net=mynetwork に指定するネットワークは、自分で作成が必要になります。
LAN に対して、ポート開放もいらなくなります。
ipfilterで制御するだけです。

--net=ネットワーク名　を指定しないと、インターネットへの穴を開けてしまって危険。

ネットワークの知識がいるので、
これが唯一難しい点ではないかと思います。

個々のコンテナの中でsystemd動かしてrsyslogdでログ出してlogroteteまてやるとか無駄の極み
動かすプロセスは複数でもいいけど必要なものだけ動かすのがdocker的な考え方だよ
systemctlに頼らず起動コマンドくらい自分で調べろ

そんなにsystemd入れてinitしたいならlxcを熱烈推奨

コンテナ内でsupervisordとか動かすのはアンチパターン

gitlabはマルチプロセスを採用してるが？

>>833
ごった煮版は手軽に試したい人向けだろ

まともに使いたい人はhelmチャート版か
よそのDockerイメージ使えって事だろう

>>834
つまりマルチプロセスなら手軽に使えるコンテナが作れるわけだよね
ということはコンテナ分割と利便性はトレードオフの関係なんだよ
このことを無視してごった煮はダメだアンチパターンだとわめき散らすのは典型的な解ってない人

>>835
helmチャートとかdocker-compose.ymlで配布してくれた方がカスタムしやすい。

ログやCPU使用率も各コンテナで分かれるので見やすい
よって利便性も複数コンテナの方が上

docker-composeで試せるものが
docker runで試せるようになったからって
そんな楽になったとは思えない
むしろ不便になってる件

ほれみろ。仮想マシンのような使い方をした結果

いつものように苦しんでるではないかｗ

>>836
カスタムはある程度は環境変数とかでできる
高度なカスタムが必要なら勝手に非公式で頑張れ
ほとんどの人は公式ので十分だ

オーケストレーターごとにマニフェストを用意しなきゃならんのは面倒だ
オーケストレーターを選択するのも負担になる
マルチプロセスならdocker runだけでOK
これ以上にかんたんなものはない

>>837
コンポーズだとファイルが必要だし内容の理解も必要
docker runはファイル不要で面倒なことは考えなくていい
これ以上楽なことはない

>>838
苦しまない
むしろ楽になってる

ここで仮想マシンのような使い方をしようとして
簡単に解決できない質問が出てるのが苦しんでる証拠

>>840
Dockerfileでたくさん面倒なことしてるだろ

docker-composeはyamlファイルを持ってくるだけ
Dockerfileと違って中身を理解する必要がない！（笑）

では分割コンテナでいいから質問者が求める構成を提示してみて
できないならそれはマルチプロセスコンテナが悪いのではなく単純に難しい構成だったというだけだな
1日待ってあげるからどうぞ

>>843
gitlabはdockerhubからpullするだけで使えるということも知らんのか
dockerfileなんか書かんよ

>>844
論点がずれてる

単一であっても分割であっても
仮想マシンのような使い方をするのが間違ってると言ってる

>>845
docker-composeもdockerhubから勝手にpullしてくれるってことも知らんのか？
誰かが作ったdocker-compose.ymlをgitとかからpullするのが増えるだけやろ

docker-composeは、docker runだとたくさん引数を指定するのが
めんどくさいってのを解決してくれるものだ

docker runするだけ（引数がたくさんで辛いよぉ）←これを見なかったことにするな

>>846
仮想マシンのようなとは？

>>847
docker composeはファイルが必要

>>848
質問者が言ってるだろ

> 818 名前：login:Penguin[sage] 投稿日：2020/11/12(木) 04:08:50.18 ID:tXLSOFMO [1/7]
> Dockerコンテナ内のcrontab -eで、デーモンのスケジュール再起動を任せたら、
> oom Killerでホストが倒れてしまった。ホストにsshログインもできない状態に陥って大変あせった。データもっていかれるかと思ったが、再起動でなんとか復帰できた。

↑これが仮想マシンのような使い方
↓これが本来のDockerの使い方

> そこで、ホストにおいて、docker restart コンテナとするようにした。
> そうすると、メモリ溢れなく、安全にコンテナごとデーモンの再起動ができたので報告しておく。

>>849
ファイルをコピーするのが難しいって話をしてんの？ｗ

docker runで引数をたくさん指定するのと、その引数がファイルに全部書かれてるから
docker-composeするだけで起動できるのと、どっちが簡単ですかって話なんだが

docker-composeも使えない男の人って…

Linuxでdocker使ってるんですけど
volumeマウントするとホスト上のroot権限のディレクトリができるのですが
対策ありますか？
nginxです

>>818
そのものズバリの「?oom-kill-disable」なんつーオプションがあるらしいね。

https://knowledge.sakura.ad.jp/5118/

--memory=1024mb

コンテナにこの辺掛けたらどうなるか、興味深いところ。
ホストが死ぬなんてことはなくなるのでは。

また、仮想マシン厨が出てきたw

Docker, Kubernetes は、immutable だから、状態を持ってはいけない。
サイボウズのkintone なんか毎日、破棄して作ってる

Heroku 相当のPaaS、AWS Elastic Beanstalk のRuby, Docker などの基本。
OOM killer も、k8s の基本

そもそも、k8sのetcd は、OS の/etc の事

>>854
oom killerせず、スワップも貧弱なら、
oom-kill-disableすれば、「盾と鉾」の話になりそうですね。

いろいろと興味深いオプションありますね。

>>855
OOM killer も、k8s の基本 って
どういうことだろう？

OOM killer を無効にしてメモリが足りなくなったら
メモリが足りなくなったプロセスが落ちるだけの話
一般的には今まさに動いてるプロセスになるだろう

k8s のLimitRange で、各Pod のCPU, メモリの使用量を制限すると、
PodがOOM killed される

それで、Pod数が足りなくなるから、また再作成されて、また終了させられる

だから、仮想マシン厨がやってる事は、
OS の機能を、コンテナ内でやろうとしているだけの話

Docker, Kubernetes、
Heroku 相当のPaaS、AWS Elastic Beanstalk などに書いてある

まーた知ってる単語を並べた君かぁ...

OOM killerに殺されて転生したらPodでした

全て一つのマシンに配置する事も
データベースだけ別のマシンにする事も自由自在なのがコンテナの良いところ

K8S使うまでもないんやけどコンテナで運用したいんやがどこのサービスがええのん？

>>864
一台しか使わないならdocker-composeでもよくね？

それともマネージドサービスが使いたい？
ならコントローラーが無料のサービスを選ぶとよい

Amazon ECSは無料
Azure Kubernetes Serviceも無料らしい
Google Kubernetes EngineはZonal Clusterなら一つは無料らしい

dockerコンテナ一つで終わるなら、dockerをデーモンで起動すればいいし
複数のコンテナが必要なら、docker-composeだろうな

当然、Heroku 相当のPaaS、AWS Elastic Beanstalk

Docker, Ruby もある

Fargateがベスト
K8Sなんて大げさなものは超大規模システムでしかメリットがない
アプリをお手軽にパッケージングしてお手軽にデプロイする基盤がほしい
でもDockerホストは管理したくない
大半のユーザーが求めてるモノはそれだけだ

監視と通知ができる軽量なダッシュボードがほしい

自分でオーケストレーターをインストールするのか？

k3sなら単一ノード構成でも使えるしセットアップも比較的楽
より機能の少ない物ならNomad, Docker Swarm等もあるが
使いやすいかは知らん

HerokuもDocker使えるから
自分でオーケストレーターの管理したくないならありかも

Herokuはvolume使えないんだろ
クソじゃん

古いプログラムソースのファイルアクセスをクラウドストレージアクセスに書き換えるのがめんどくさい
なんかファイルIOをフックしてクラウドに転送する魔法ないの?

>>872
クラウドストレージが何を指してるのか分からないけど
単にホストがストレージをマウントしてDockerのvolumeか
mountで逃がせば良いんじゃね？

>>873
ホストに依存したくない
コンテナの中だけで解決できないか

コンテナにrcloneでも入れればいい
個人的にはそういうものはホストに入れるけど

dockerでボリュームマウントするとroot権限でしか編集できなくなるので面倒なのですが
podmanならこの問題が解決されてますか？

goofysやs3fsを特権コンテナ内で動かすとか？

https://stackoverflow.com/questions/53631567/share-a-fuse-fs-mounted-inside-a-docker-container-through-volumes


https://hub.docker.com/r/ecardoso/s3fs-nfs
https://github.com/cloudposse/goofys

あるいはnfs clientを特権コンテナ内でとか
https://hub.docker.com/r/d3fk/nfs-client/