シェルスクリプト質問スレ

いい加減な会社まじで

作者： よしながふみの大奥完結して荒してるわ
朝には燃えないとはならんのよ
13日連続日中仕事

このスレ潰していいだろ
荒らしでもいいから一気に潰して

100 text11:text12:text13
101 text221:text222
105 textxxx:textyyy:textzzz

このような、ID(行の先頭、数字の繰り返し)+空白+コロン区切りの文字列が任意個並んでいる
ファイルがあります

これを
・IDと最初のコロンまで→ID<タブ>textXX<改行>と置換
・それ以降のコロン区切り→<タブ>textXX<改行>textYYと置換
と、タブ文字(\t)と改行(\n\r)で分割する処理をしたいです

例えばIDが100の行は
100<タブ>text11
<タブ>text12
<タブ>text13
としたいです

こんな動作をするスクリプトを紹介いただきたいです

宿題は自分でやろうね

>>185
たぶん、IDの後に改行を入れない方法が分からないのではと愚行するが、
sedの最初の置換でgオプションをつけなければ、最初の1つ目が処理されるよ。

君はスキノサウルスあるやろ
https://i.imgur.com/ZRGprKh.jpeg
https://i.imgur.com/nXJYgTw.png

NGレス番号123-184,188

ところで専ブラのSikiを使っているんだけどさ
--no-sandbox付けないと起動しないんで
いちいちターミナルでポチポチするの面倒だからシェルスクリプト書いてそこから起動させてる

#!/bin/sh
/home/oresama/Siki-0.31.10.AppImage --no-sandbox
sleep 1;

にしてるんだけど
バージョンアップ時に書き換えしないで済むように出来ないかな？

Sikiのファイル名のバージョン削れ

>>190
でもそれだとアプデごとに削ることになるから手間暇変わらんのよね

単に /home/oresama/Siki-*.AppImage とかでいいんじゃないの
複数あった場合等を考慮するなら最初の1つだけを採用するような細工もいるけど

>>192
これで大丈夫です
ありがとうございます

#!/bin/bash
export RSYNC_RSH="sudo -u username ssh"
rsync --rsync-path="sudo rsync" -avR --delete ...

上記で実行できるものをこんな風にするとエラーになるのはなぜでしょう？
まだ引用符のエスケープがどこがまずいのかな？

#!/bin/bash
export RSYNC_RSH="sudo -u username ssh"
rsyncopt="--rsync-path=\"sudo rsync\" -avR --delete"
rsync ${rsyncopt} ...

次のようにまとめるのはどうしてもうまくいかずに諦めました。

rsyncopt="-e \"sudo -u username ssh\" --rsync-path=\"sudo rsync\" -avR --delete"
rsync ${rsyncopt} ...

$ rsyncopt="--rsync-path=\"sudo rsync\" -avR --delete"
$ for i in ${rsyncopt} ; do echo $i ; done
--rsync-path="sudo
rsync"
-avR
--delete

という風にスペースで切られてる

どうもありがとう。
sudo rsyncみたいなのについて調べながらあちこち拾い読みしてて、
少しよく読めばいろいろ中途半端でした。

https://superuser.com/questions/354361/rsync-complaining-about-missing-trailing-in-a-bash-script

forとreadを駆使してやれないこともないが、一回しか使わないのであれば
エディタの機能でname.txtの先頭にmv 行番号.txtを挿入してしまうのが簡単に思う
マルチカーソルか矩形選択のあるエディタなら簡単

確かに…冷静に考えたらシェル芸的なこと考えるよりハードコードしたほうが楽でした
ありがとうございます！

>>199
一時ファイルを作成していいなら、自分なら
mv 連番.txtが入った一時ファイルとnames.txtをpasteで連結して別の一時ファイルに吐き出して、その一時ファイルを実行するシェルスクリプトを書くかな。
paste <(for t in {001..100}.txt; do echo mv $t; done) names.txt
みたいな感じで

専用使い捨てハードコーディング 良い発想だね
汎用を目指すのも主流の思想だけに 忘れそうになる観点

bashでViモード使ってる時はv押して一時的なVimを開き、Vim内でlsしてファイル名取得して矩形選択で編集して、Vim閉じれば記載内容が実行される感じで使い捨てが楽だった
zshのViモードはVimは開かないからそこはbashが惜しい

>>197
cat -n name.txt | while read n t; do
s=$(printf "%03d.txt" $n)
f="$t.txt"
mv -f "$s" "$f"
done

>>194
eval "rsync ${rsyncopt} ..."

>>203
name.txtには、1行につき項目は1つだけだよ。t のみ
行番号は何行目というのだろう。nが入ってるんだったら「行」は要らない番号でいいだろからね

n=0
while n=$((n + 1)); read t; do
s=$(printf "%03d.txt" $n)
f="$t.txt"
[ -f "$s" ] && [ ! -f "$f" ] && mv -f "$s" "$f"
done < name.txt

デバッグするとこうかな。動かしてないけど
cat ... | while でもいいけど、zsh/kshじゃなきゃパイプでのサブプロセス問題があるから使わない方向にした。これではその問題は発生しない関係ないけど

>>205
cat -n

プログラム技術板のシェルスクリプト総合スレ消えた？
あそこ一番活発で伸びてたスレだったと思うんだけれど
建てて良いかな？

falseより[ ]の方が使いでがあるように最近思えてきた
タイプ数も少ないし、見た目でブラケットの中に何もないことから、空（falsy）意味論を理解するのも容易

まあさすがに変数に入れる時はさすがにtrueと対になって対称性のあるfalseを使うけど

avail-p=false

if
avail-p; then
cmd do-smething-not-available
fi

avail-p=true
if avail-p; then
cmd do-smething-available
fi

おれは大体こんな感じでフラグ管理してる

>>208
プログラム技術板にもあったけど活気があったのはUNIX板の奴だった気が

UNIX系の板自体がもはやかつての活気はないし、今後はAIに質問するのが主流になるだろうから
たてても過疎るだけじゃないかな

>>209
[ ] なんて使ったことなくて、この書き込みで初めて知ったわ

知らずに他人のソース読んでる際にこの表現がでてきたら
「なにか式を書こうとしてそのまま忘れたんだろうなぁ(、何が入るか全くわからん...)」
になるので他人には優しくないかも

いや、if false;then∼fiなんて、複数行のコメントアウトに使うものｗ

emacslispの(if nil (progn∼)と同じ

>>212
if [ 1 -eq 2 ]; then
echo "絶対に成立しない条件"
fi

などと書いておけば、コメントすらいらない。

[ ] だと "]" のパースがはいるのに対してfalseは引数の処理が要らないからfalseのほうがいいんじゃないか(パラノイア

確かにそうなのか…
でもそれ言っちゃうならif分岐しないで
普通にコメント行でいい気もビレゾン

>>215
その実行速度差に意味があるなら、どういう使い方をしているのは説明しろよ！

シェルスクリプトの実行速度を気にして可読性を下げた構文にしてもいいが、説明のコメントを書く必要はあるから、趣味以外ではやらない方がいい。

linuxじたいの超絶初心者です
apacheのルートディレクトリの変更で手こずってて
何回もapache restartや
condigtesとかやったり
同じようなフォルダに行ったり
config関連のファイルを開いて書き換えたりしてます

何回も同じ文字列を打つのが面倒なのですが
そういうのを解決するのは、シェルスクリプトなんでしょうか？
そんなくらい手で打つほうが楽って上級者ばかりなのでしょうが
自分は、そのつど検索して打ち直したり、ターミナルの履歴たどってやったり

input-remapperというソフトがあったので
テンキーの1を押したら、再起動のコマンド文が入力されるようにしようかと思ったけど
apacheの文字出すだけでも
一文字ごとに+を入れないとダメみたいで、なかなか手間がかかりそうなのでとりあえずやめときました

なにか良いアイデアはあるでしょうか？

>>219
condigtesとかやったり
↑
configtestの打ち間違いです

エイリアス使え

tab補完
history
があるよ

エイリアス、関数、シェルスクリプト、zsh-autosuggestions

検索してみます
ありがとう

そもそもシェルスクリプトなんて、ターミナルのコマンドライン上で書いて、再利用できそうなら、適当なテキストファイルに貼っとくもんだｗ

いい歳して今更オライリー頼んじゃった><

今は何でもLLMに質問できるからな……

今日、初めて、zshの**（再帰検索）を知った。
めっちゃ便利やん。
find使わんでもfindを使ったような一括処理ができる
find . -type f -name "*.webp" -exec bash -c 'for f; do magick mogrify -format jpg "$f" && rm "$f"; done' _ {} +
と今まで書いていたのが
for f in **/*.webp; do magick mogrify -format jpg "$f" && rm "$f"; done
で済む

便利だね

ちなみにAIによると、bashでもver4.0以降なら
shopt -s globstar nullglob # ←これ必要
for f in **/*.webp; do magick mogrify -format jpg "$f" && rm -- "$f"; done
が出来るんじゃないかな

bash でも shopt -s globstar 実行したら ** が使えるらしい
ドット開始のファイル/フォルダ名も処理対象にしたいなら shopt -s dotglob も追加

ほー、
今までディレクトリ以下のファイル内にgrepするとき
grep keyword *.py
grep keyword */*.py
grep keyword */*/*.py
ってやってたけど
grep keyword **/*.py
で出来るんだ

一つ一つmogrifyするんじゃなくて
見つけた.webを以下のように一気に並列処理するとどうだろうか

(magick mogrify -format jpg "01.web" && rm -- "01.web") &
(magick mogrify -format jpg "02.web" && rm -- "02.web") &
　…
(magick mogrify -format jpg "98.web" && rm -- "98.web") &
(magick mogrify -format jpg "99.web" && rm -- "99.web") &
wait

.webpが多いとハングアップ状態になると思うので
数個単位で分割とかCPU負荷に応じて並列実行数を可変にするとか

> (magick mogrify -format jpg "01.web" && rm -- "01.web") &

↓

(magick mogrify -format jpg "01.webp" && rm -- "01.webp") &

拡張子間違ったｗ

繰り返しは for 文か xargs 使おうぜ。
xargs で４並列実行の例:
printf "%s\n" {01..99}.webp | xargs -d $'\n' -n 1 -P 4 bash -c 'magick mogrify -format jpg "$1" && rm -- "$1"' --

# 通常は printf じゃなくて find . -name '*.webp' に差し替えで

>>231
grep なら伝統的に -r オプションがあるだろ。
と筆が走ったはいいが、自分でほぼ使ったことがないので調べると、4行目のようにするらしい。

1　$ mkdir -p a/b/c/d
2　$ echo 'keyword' | tee a/b/c/d/keyword.py > a/b/c/d/keyword.txt
3　$ cd a
4　$ grep -r --include='*.py' 'keyword'
5　b/c/d/keyword.py:keyword
6　$

>>234
xargsって並列個数指定出来るんだ

GNU parallelも良いかな
https://thinkit.co.jp/article/38957

シェルスクリプトは可読性も大事

いやーやっぱshellって凄いな。感謝しかないわ。
何なのこの効率のよさ。何処までも俺のガラクタ脳みその能力を最大限引き出してくれる感じ。覚えたbad knowhowを無駄なんかないぜって活かしてくれる駄目な俺の守護神。
何日もこなさないといけない事柄を考え抜いて、これ書くのまた何日かかるんだろ、これは簡単じゃないし、AIに聞いても助けにならない難易度のやつ、苦労するなと思ってたらshellで動きを確かめたら、あれ?これひょっとしてと思ったら、そのまま一時間ぐらいで書ききれてしまった。

浮いた時間は...精進する為に使えって事なんだね。攻めるぜ!

>>237
いまはAIあるから、問題ない。
読みやすくして、コメントつけて解説して
と指示したらいい。

>>238
書き込む前にAIで校正してもらったほうがいい。

shellcheckとshfmtすごいな

シェルスクリプトをshellと略すのはやめた方が良いようです

VS Code + Bash Debug
でbashシェルスクリプトをIDEでステップ実行・デバッグできるらしい
ということを知ったので時間ある時実験してみたい

俺はどうにもvscodeで動かないので端末からbashdbでやってる
このbashdbもmainブランチだと最新bashに対応してないので別ブランチを持ってこないと駄目だとか色々大変でした

>>242
AIに任せたら全部正しくしてくれるから、デバックなんて作業しなくなった。

デバッグ作業が楽しいのにねえ

>>245
AIに一度任せてみたら？いかに無駄な作業かわかるから。

その作業をすることで得られる知見も有るから一概に無駄と片付けるのもどうかと

>>247
そういう時代もあったけど、その知見も必要なくなっているのが今。

ちゃんとAIも併用してるから安心して
そう鼻息荒く説かなくて良いよｗ

>>249
時代遅れ。

AIが書いたコードを読まずに動かすのは怖いな

bashスクリプトをよく書いてもらってるけど
・空白混じりのファイル名を扱うところでバグる
・ファイルが存在しないのに実行するとバグる
・まるで勘違いのシステム操作
などといった超凡ミス・クリティカルミスがたびたびある
バグってシステム壊れたりお宝ファイルが消滅するリスクがある

人間が作ったコードはテストされていてそんなミスは少ないと思う
AIが書いたコードはレビューもテスターも自分が第一号

変数をダブルクォーテーションで括らない(=空白混じりの文字列を
複数引数としてパーズしてしまう)癖があるのは確かに気になる

コンパイル言語で括らないほうを好むように学習してしまってるんだろうな

ただ逆に自分より賢い／よりノウハウが詰め込まれた汎用性の高いコードを
返してくることもあるので侮れない

定番なのに今まで自分は知らなかった手法を書いてくれた時は感動する
何やってるか分からないところは分かるまでAIに質問攻めしたり調べたりして
全て理解してからじゃないと実行しない

ChatGPTな登場してスクリプトの理解度が上がった
わからない行は丁寧に教えてくれるし、
知らなかった文法や、アルゴリズムも新しい知識として得られる
Linuxと生成AIって相性が本当によい

もっともらしい嘘をつくのもAIなんだが

Google でコマンド調べてるとたまに存在しないコマンドラインオプション提示してくるよね...

>>255
ハルシネーション前提で使い、必ず裏どりをしてから使えば問題はない。
自分で思い付かない方法や知らなかったことに対して気づきを与えてくれるのがAIの利点。