Docker Part4

Linuxが持つコンテナ技術を使った、仮想マシン必要ないアプリケーション仮想化技術で
アプリケーションのデプロイが用意になります

Docker（アプリ仮想化）は仮想マシンと併用して使うことで最も効果を発揮し
開発・テストで使ったDockerイメージと全く同じものを本番環境で使えます
さらにWindowsとmacOSでも同じDockerイメージが動きます。
（Linuxは仮想マシンが不要ですが、WindowsとmacOSは仮想マシン技術を併用して実現しています。）

Dockerイメージ（Dockerfile）はアプリケーション開発者が作成します
動かすのに必要なもの全てがDockerイメージに含まれるので
インフラ担当者はそれを動かすだけ、本来のインフラの作業に集中できるようになります

Dockerは主にウェブ業界でサービスのデプロイの必須技術になりました
情報共有しましょう

http://www.docker.io/

前スレ
Docker Part3
https://mao.5ch.net/test/read.cgi/linux/1552023620/


注意　同じコンテナ技術を使うが異なるアプローチで仮想マシンの
代替を目指しているのがLXC。目的が全く異なるので注意
LXC(Linux Containers)
https://mao.5ch.net/test/read.cgi/linux/1330826939/

アプリ屋はロジックの変更はできてもサーバーパラメータの調整はできない
それはインフラ屋の仕事
Dockerfileはそういうことも考慮して書かなきゃならなん
なのでアプリ屋の出番はない
アプリ屋はパッケージだけ作ってろってこった

なんでDockerfileの話でサーバーパラメータの調整が出てくるんだかｗ

サーバーパラメータの調整っていうのはマシンスペックや構成によって変わるもので
どこでも同じように動くものを作るDockerfileの外でやるここと
完全にDockerの意味を理解してないわｗ

ほらな
アプリ屋さんの理解なんてこんなもん

※「反論なし」は証拠の１つです（笑）

データベースのチューニングとかしたことねんだろうなぁ
アプリ屋さんはJavaとかRubyとかそのへん適当に書くだけで勤まるから楽でいいよね

データベースのチューニングでDockerfileいじると思ってるんだろうな（笑）
あんなの設定ファイルを注入するだけなのに

すでにDockerイメージ作成済みなのに、どうやって設定ファイルを
注入するんだ？とか言いそうだからヒントな

ボリューム

アンチパターン来ましたｗ

公式より

https://hub.docker.com/_/mysql

Using a custom MySQL configuration file
カスタムMySQL構成ファイルの使用

$ ｄｏｃｋｅｒ　ｒｕｎ　−−ｎａｍｅ　ｓｏｍｅ−ｍｙｓｑｌ　−ｖ　／ｍｙ／ｃｕｓｔｏｍ：／ｅｔｃ／ｍｙｓｑｌ／ｃｏｎｆ．ｄ　−ｅ　ＭＹＳＱＬ＿ＲＯＯＴ＿ＰＡＳＳＷＯＲＤ＝ｍｙ−ｓｅｃｒｅｔ−ｐｗ　−ｄ　ｍｙｓｑｌ：ｔａｇ

>>538
ビギナー向けのサンプルコードを真に受けて本番でも使っちゃうやつｗｗｗ

※「反論なし」は証拠の１つです（笑） 2回目

せっかくDocker使ってんのにインスタンス1個1個べっこに設定管理してた時代に逆行してんのマジ笑える
ヒントはボリューム（笑）ファーｗｗｗｗ

ほらな、やっぱり理解してない
Dockerのコンテナはアプリを動かす環境を一体化するものであって
設定ファイルを一体化するものじゃないんだよ。（してもいいけど）
なぜ公式のDockerイメージがそうなってるのかよく考えたほうがいいよ

Dockerイメージ＝アプリ。
アプリの中に設定を変更することがあるファイルを内蔵するか？
サーバーの構成に合わせてビルドするか？って話

>>542
わかってないのは君だな
君はDockerの流儀にまったく適応できてない
古い考え方のままDockerを使おうとしてる

正解はこれだ
・設定はイメージに埋め込む
・構成によってビルド後に可変にしたいものはコマンドライン引数、環境変数などを通じて変更できるようにエントリポイント、あるいはアプリ自体に細工する

これ、脱初心者を目指すなら必須の知識だから君も覚えておくといい

>>543
はい、そうやって作るからチューニングでDockerfileをいじることはないんです。

>>544
設定を埋め込むものエントリポイントに細工するのもDockerfileの仕事
正確にはassetを編集することが多いがそれも込でDockerfileをいじるということだ

ボリューム（）

アプリ屋「設定を注入する方法知ってるか？くくく、ヒントはボリューム」ドヤッドヤァアアアアア

上司「あー新人くん、データ保存領域以外は全てステートレスに作れってDocker入門コースで教えたよね。作り直して」

アプリ屋「あっ、ハイ…(´・ω・｀)」

公式より

https://hub.docker.com/_/mysql

Using a custom MySQL configuration file
カスタムMySQL構成ファイルの使用

$ ｄｏｃｋｅｒ　ｒｕｎ　−−ｎａｍｅ　ｓｏｍｅ−ｍｙｓｑｌ　−ｖ　／ｍｙ／ｃｕｓｔｏｍ：／ｅｔｃ／ｍｙｓｑｌ／ｃｏｎｆ．ｄ　−ｅ　ＭＹＳＱＬ＿ＲＯＯＴ＿ＰＡＳＳＷＯＲＤ＝ｍｙ−ｓｅｃｒｅｔ−ｐｗ　−ｄ　ｍｙｓｑｌ：ｔａｇ

新人「Dockerfileイジってチューニングやー」

上司「設定外出ししといたから、それいじってってな」

新人「あっ、ハイ…(´・ω・｀)」

>>548
振り出しにもどすな

>>549
設定もDockerfileの一部

Dockerfileでデータベースのチューニング？
なんだデータベースの設定変えてビルドし直すだけかよｗ
Dockerfileイジってねーじゃんｗｗｗ

もう邪魔だから隔離スレ建ててそこでやってくれない？

イ・ヤ・♪

>>552
迷惑だってよ

いやなら見るなってだけやろｗ

気が触れてるな。
こいつと同じ会社でなくて良かった。
こいつの同僚はこいつと同じなのだろうか。それとも、こいつだけ…

docker exec あとのコマンドを補完できるライブラリとかプラグインってありますか？

DockerfileのLinterはありますが
docker-compose.ymlのLinterってありませんか？

docker-compose なんかローカルでのテストくらいにしか使わないのにLintもクソもないでしょ
あえてやるとしたら docker-compose.yml があったらテスト用だ本番とは違うとワーニング出すくらいだろうな

配布するから

Promscale: An analytical platform and long-term store for Prometheus, with the combined power of SQL and PromQL
https://blog.timescale.com/blog/promscale-analytical-platform-long-term-store-for-prometheus-combined-sql-promql-postgresql/

k8sよりcomposeのほうが簡単でいい
swarmでいいじゃん

設定ファイルが多少簡単だろうと、まともなマネージドサービスがない時点で難易度MAXなのです

fargateは?
最近docker comoose対応したよね

Fluent Bit supports Amazon S3 as a destination to route container logs

Posted On: Oct 14, 2020

Customers using container services including Amazon Elastic Container Service (ECS), Amazon Elastic Kubernetes Services (EKS), or self-managed Kubernetes can now send their container logs to Amazon Simple Storage Service (Amazon S3) using the Fluent Bit log router.
Fluent Bit allows customers to route container logs to various AWS and partner monitoring solutions including Amazon CloudWatch, Amazon Kinesis, Datadog, Splunk, and now Amazon S3.

Amazon ECS customers can use the FireLens interface in their task definition to configure Fluent Bit to send logs to Amazon S3.
Once you deploy your task definition, it will automatically start routing logs.
Customers using containers on Amazon EKS or self-managed Kubernetes clusters can now route container logs to Amazon S3 by installing Fluent Bit as a DaemonSet.

To get started see a FireLens example to route logs to Amazon S3 here, the Fluent Bit release notes here, and the Fluent Bit documentation here.

大切なパスワードを保存したイメージを間違ってdokerhubにうｐしちゃったらどうなるの

どうやったらそんなミスをするのかって悩むレベルだなｗ

パスワード変えればいい

dockerの理念的に
１アプリ１イメージ
使い終わったらコンテナ削除する
ってことらしいですが
開発環境の場合、毎回コンテナ削除してたら編集データとかリセットしませんか・・？
データやら設定ファイルだけはホストに保存するってことでしょうか？

>>570
dockerイメージ＝プログラム（exeファイル）と考えればいいんだよ。
exeファイルの中に消えたらいけないデータを保存するかい？しないだろ？

つまり保存するデータはdockerイメージの外に保存するんだよ。
それがボリューム。ボリュームっていうのはdockerイメージを起動するときに割り当てる。
例えば任意のディレクトリをボリュームとして使うことができる。
exeファイルを実行するときにデータディレクトリを指定しているようなもんだ

こうやってdockerイメージの外のリソースを起動時に割り当てることで
dockerイメージ内部からはどこで動かしても同じように見えるようになるわけ

ちなみにデータと設定ファイル（アプリ実行中に保存しないもの）は別な。
設定ファイルはdockerイメージに埋め込んでいい（場合によっては外に出すこともある）

>>571
>dockerイメージ＝プログラム（exeファイル）と
なるほどそういうことなんですね
＞任意のディレクトリをボリュームとして使うことができる。
容量に余裕のあるHDDを指定して永続的に保存なんてこともできるのですね

アプリの設定を変えたあとその設定も他の環境でも共有したいとなると
イメージまるごと共有するか
クラウドに設定を保存するとか
ですかね
（chromeブラウザとかだとログインすればすぐ同期されていい感じなのですが）

ありがとうございました

そんなゴリゴリに使い倒すつもりはないからホストPCのシステムディスクって２５０GB（SSD）もあれば十分だよね・・？

https://martinheinz.dev/blog/35

Docker Hub Image Retention Policy Delayed, Subscription Updates
https://www.docker.com/blog/docker-hub-image-retention-policy-delayed-and-subscription-updates/

Docker Hubのイメージ削除は2021年半ばまで延期するってよ・・・

リソース消費量ベースのサブスクリプションにどう対応したら良いかとか
そもそも現在のリソース消費量は？とかよく分からないからってフィードバックが寄せられたっぽい

dockerhubの方針はよくわからないからgithubでいいや

imageを共有すること自体がないから
docker-compose.ymlの共有はするけど

このご時世にvmみたいな使い方してしまった
はぁ

イメージ作成したときにダウンロードしてきたイメージはどこに保存されているの？
イメージ作成前後でボリュームのサイズ調べてもサイズが増減しない・・見間違えてるだけかな

最初にイメージの格納場所のサイズを設定するだろ。
~/Library/Containers/com.docker.docker/Data/vms/0/data/Docker.rawとか。

docker system df -v
で確認。

Ready for pull rate limits? Docker outlines 'next chapter' as Google tells customers how to dodge subscriptions
https://www.theregister.com/2020/10/28/docker_pull_rate_limit_1_november/

The issue is worse for users of private GKE clusters since "all image pulls will be routed via a single NAT gateway".
Winser warned that "any service that relies on container images may be affected, including Cloud Build, Cloud Run, App Engine etc."

11月からNATゲートウェイ経由かつ匿名ユーザーだと
全くpull出来なくなる感じ？
ヤバくね？

必要なイメージをプライベートレジストリに確保するだけ

https://labs.play-with-docker.com/
でボリュームのマウントがうまく行かない
$ cat test.txt
$ docker run -it -v /my/:/var/my ubuntu
コンテナの端末に入って/var/myに移動してもtest.txt無し

ローカルのPCでは成功したのになあ

補足
test.txtはmyディレクトリに作ってある

たぶん/my/のパスが間違ってるってことだよね
ほんとは
/なんたら/かんたら/うんたら/my
ってパスなんだろうけど

改めてやってみたら
/my:/var/my
じゃなく
/root/my:
でやったらできた！

python使いたいだけなのに８８６MBって重くない？

うそ！？私のPython 41.09MB！

alpineベースのPythonは扱いが難しい

特にCライブラリを使うパッケージが必要なプログラムの場合、ソースからビルドされて遅かったり
alpineにコンパイル済みのがあってもバージョンが古かったり
たまにglibcとmuslの違いから起きる互換性の問題がある

alpineよりslimの方がオヌヌメ
alpineよりは大きいがまだ小さめ

python:3.7-slim
で-alpineとか-slimつけるだけでいけた�d

つけるだけでいけたの前にdocker-hubくらい見ようよ

ん　dockerhubみたら
python:<version>-slim
って書いてあったよ

Docker Hubを見るのも当然だし、大元のDovkerfileを読もうよ。

謎の現象に苦しんでいます。

CentOS 7で、yumでdockerを導入しました。

docker volume creteで、vol_etcと、vol_varを作成し、docker runのオプションで、次のようにボリュームを指定のディレクトリにマウントしました。
--mount source=vol_etc,target=/etc --mount source=vol_var,target=/var

このコンテナはimageから起動しているので、オリジナルの/etcと/varとが、それぞれボリュームにコピーされるはずです。

オリジナル/etcの内容は全てボリュームにコピーされたようです。
しかし、/varの一部のディレクトリの内容が、なぜかボリュームにコピーされません。
そのため、そのディレクトリの内容のみ空っぽになってしまいます。
（具体的には、/var/spool/hylafaxというディレクトリが空になります。/var/spool/の他のサブディレクトリについては中身がコピーされています。）

念の為、ボリュームをマウントせずにコンテナを起動すると、問題のディレクトリも中身が入っていることが確認されます。

原因として何が考えられるでしょうか。お手上げ状態です。

>>594
自己レスです。

オリジナルの/var/spool/hylafax 内に、pipeファイルがあります。

prw------- 1 uucp uucp 0 Sep 19 2018 FIFO

これが原因で、ボリュームにサブディレクトリも含めてコピーがされない可能性はあるでしょうか。

pipeを削除したイメージを作ってやってみれば原因かどうかわかるんじゃないの

>>594
基本的な話として、
ホストの/etcや/varをDockerコンテナの中にマウントしてはいけません。
厳禁といってもいいレベルでダメです

/etc や /var 以下の必要なものだけをマウントする場合はギリOKです。
そのDockerイメージは何の機能をコンテナ化したものですか？
その機能に必要なものだけをマウントしてください

ついでに言っておくと/etcや/varなんかをDockerコンテナに
割り当てたりなんかしたら最悪ホストシステムが破壊されます。

アプリ屋くん今日も大暴走

>>594
>― mount source=vol_etc,target=/etc --mount source=vol_var,target=/var

なんで、こうするのか、理解に苦しむわ…。
とくに、 /var をなぜVolumeにする？
意味がわからない。

Dockerを仮想マシンか何かだと思ってるんだろ
/etcや/varを共有してDockerコンテナの中で作業しようとしてる

仮想マシンでvar とかetcの共有なんてしないけどね。

だから仮想マシンとしてログイン（？）して使いたいけど
/etcや/varを共有したいって思ったんでしょ？

アプリ専用コンテナとして考えれば
必要なものだけを共有するという発想になる

そんな広い範囲のディレクトリを参照するってことは
そのコンテナでいろんな作業をしたいってことだろう
/etcが見れればいろんなアプリ何も設定しなくても動くと勘違いしちゃうもんねｗ

もうめちゃくちゃだなこいつ
質問者はホストと共有するなんて言ってねえし

？

ボリュームってなんのことか知ってますか？

>>594
Dockerのmountとかvolumeってのは、システムの可変の部分を定義することね。
/var/www/html 配下をマウントして、中身はプライベートなgithub/gitlabとかからpullするとか。
或いは/etc/nginx/conf.d配下だけをマウントして独自の定義ファイル置くとか。
例えホストと同等のゲストを作りたいと思ったとしてもホストのetcとゲスト（コンテナ）のetc全く別物ｗ
/etc/とか/var/直下をゲストがマウントしたいとか、多分Dockerの作者も仰天の利用方法だと思うわ。

こいつvolumeとbind mountの区別ついてなさそうだな

DOCKER_CONTENT_TRUSTって設定するべきでしょうか？

してもいいししなくてもいい

DockerfileでRUNするたびにdocker imagesの一覧が増えていくんだけどなんで

>>610
設定しておくことにしました

Use GitHub Actions to deploy your application to IBM Cloud Kubernetes Service
https://youtu.be/r5hyAmuNHyE

>>611
Dockerコンテナやイメージがなんであるか理解してください。
それでも分からなければ、Docker社にお問い合わせください。

>>601
使用するアプリが、/var/spool/app以下に設定ファイルをいろいろと自動作成するんですよ。
それから/var/spoolは、postfixも作業領域を持つので、
varまるごとボリューム化しておけば便利だと思いました。

>>605
そのとおりです。
ボリュームを作成した上で、コンテナ内の/etc/と、/var/spoolを書き出して、
データ永続化しようとしているわけです。

>>596
pipeのない/var/spool/hylafax/etcにボリュームをマウントすると、
きちんとコンテナ内容物がボリュームにコピーされました。
おそらく、pipeが原因だと思います。

>>604
ぜんぜん違います。>>605さんの言うとおりです。

>>598
コンテナのディレクトリにマウントしているのは、
docker volumeです。
ホストの内容ではありません。

コンテナをprivilegeで動作させて、sshログインできるように設定しました。
リモートでコンテナ内に入ってから、yumで必要なパッケージを導入して、
アプリ環境を整えました。その後、commitしてイメージに固めました。
/etcや、/var/spoolは、コンテナ内での作業内容が保存されるので、
永続化のためにボリュームに切り出しておきます。

こんな使い方便利すぎて、どこが悪い？

そういう運用したいならLXCのほうがいいよ

むしろVMの方が楽まである

>>622
メモリ食うから仮想マシンは無理

>>621
Dockerのボリュームとか、イメージとか、
ネットワークとか、便利なのでなあ。
LXCは古い技術でしょ。やりたいことができなかったらと思うとわざわざ使う気になれないなあ。

>>621
CentOS7イメージだとprivilegeコンテナにすれば仮想マシンぽく運用できた。
でも、CentOS6イメージだとそういうわけには行かなかった。
こういう場合には、LXCというのを使うのが良いのかなと思っています。

Dockerのマウント3種類についてわかったことをまとめる
https://qiita.com/y518gaku/items/456f34c317a65a9dae86

Volumes、bind mounts、tmpfs mounts について

ホストディレクトリをコンテナにマウントする場合も、Dockerボリュームを複数コンテナで共有する場合も、排他同時アクセス機能はないんでしょ？

それができたら、ファイルサーバ機能を別コンテナに切り分けたりできるのになあ。

誰かDocker Certified Associate受けたことある人おらん？
英語あんまり自信ないんだが、問題文の英語どのくらいの難易度か教えて欲しい

>>620
便利なんだろうけどIaaCとは全然違うような？
メモリ、ストレージは節約できるだろうけどインフラの構築手順をコード化
して共有するという、コンテナ化の元の理念は死んでる気がする。
別に原理主義ではないけどな。属人化の部分が解消されない気はする。