【1ボードPC】分散コンピューティング【コロナ】

◆分散コンピューティングについて

一つ一つのPCの処理能力は微力であっても数が集まれば、スーパーコンピューターに匹敵あるいはそれ以上の処理能力となる。
ネットでつながった複数のPCに仕事を分散させて処理させることを分散コンピューティングという。

このスレでは主に、シングルボードPCによる分散コンピューティングについて取り扱っています。

◆BOINCプラットフォームについて
（Berkeley Open Infrastructure for Network Computing プラットフォーム）

分散コンピューティングのためのプラットフォームの一つであり、カリフォルニア大学バークレー校によって開発された。
汎用性が考慮され、このプラットフォーム一つで複数の分散コンピューティングプロジェクトに参加しそれぞれにPCの処理能力を提供できる。

参加者が行うべきことは、第一にBOINCプラットフォームのインストールと、第二に参加したいプロジェクトに対してBOINCを通してログインすることである。
後は自動で、BOINCプラットフォームを通じてこのプロジェクト側からPCに次々タスクが割り当てられ、PCは延々とその処理を行って結果を返す。

BOINCにおいて分散コンピューティングは次のソフトウェアによって実現される。
・「アプリケーション」
分散コンピューティングの各プロジェクトからダウンロードされ、プロジェクトのタスクを含んでいる。
・「コア・クライアント」
各アプリケーションの共通基盤でライブラリのようなものである。
・「GUIやTUIなどの操作用インターフェイス」

「アプリケーション」を除く二つの部分を合わせて、BOINC クライアントと総称する。
Linux, Windows, Mac, Android などで動作する。

【参考】
・Berkeley Open Infrastructure for Network Computing
https://ja.wikipedia.org/wiki/Berkeley_Open_Infrastructure_for_Network_Computing

>>2（BOINCのインストール）

うちの子只今確変中
いいぞ3B+よ。歌え、もっと歌え
https://i.imgur.com/Ptznv9C.png

>>219
おかしいですね。

ip a の結果は、どうなっています？
IPアドレス喪失しているとかないでしょうか。

>>228
/var/lib/boinc-client/cc_config.xml

<cc_config>
<options>
<allow_remote_gui_rpc>1</allow_remote_gui_rpc>
</options>
</cc_config>

boincマネージャーを動かせるマシンがあれば、
以上の設定が有効になっているクライアントを管理できた。

3Bでメディアサーバーと一緒にBOINC動かせられないものかとやってみたら両方ともダメになってOS入れ直す事態に陥った
しゃーないからメディアサーバー用にゼロを手配中なので、それが届いたら3BもBOINC専用機にしよう

>>231
>>233

まとめてお返事ですみません！今は再起動して正常に動いているのでip aの結果は問題ないように見えます

非GUIのやり方か、別マシンから管理する方法が良さげですね

別マシンから管理する場合、Raspberry Piはチーム参加、別マシンは非参加とか可能でしょうか？Raspberry Piは1台しか無いのです(ToT

ただいま409位です。
https://boinc.bakerlab.org/rosetta/top_teams.php?sort_by=expavg_credit&;offset=400

これから参加予定の方もいらっしゃるので、まだまだ上がりそうですね。

>>237
メンバー15人？　アクティブの人が15人？それとも登録している人15人？

>>239
登録している人が１５人ですね。
もっとも我々のチームは現状全員アクティブなのでこちらも１５人ですが（笑

>>236
他にもっといい方法があるかもしれませんが、
私はPC用とラズパイ用で別のアカウントを作っています。
総功績が分散しちゃいますがそこは割り切りました。。。

>>241
やはりそうですね、私も別アカ作ります

初めてtui起動して操作方法習得に必死です（汗）

GUIは普通に終了させておくだけで良いですか？？
それにしてもここの皆さん熱意も技術も凄い！

>>234 の設定のおかげで、Windowsクライアントからラズパイのデーモンにつないで状態を確認できるようになりました。
ありがとう。これでラズパイのVNCとXサーバを止めることができる。

>>234
自分も234さんの方法に切り替えました。
こりゃ楽でいいやｗ
横からですがありがとうございます。

>>243
>>244
リモート管理できてよかったです。
レスありがとう。

>>238
吉田の追い上げすげーな

>>238
マンスリーじゃん

寝る前だと言うのにロードアベレージ５を越えとるだと？
我が子よ、夜更かしで逝くなよ...

https://i.imgur.com/LuglLod.png

にわかtui人です

guiの時に見えていたタスク詳細が何も表示されないのですが、何か設定ミスってるのでしょうか？？

>>249
自己レスで補足です

ローカルのコンソールでは問題無く見えるのですが、他のマシンからsshで繋いだときに見えないようです

BOINC Manager起動時に、リモートのデーモンに自動接続する方法ってありませんか?
起動する度にコンピュータとパスワードを手動で入力する手間を省きたいので。

先程ubunts 20.04に上げてきました
4時間ぐらいかかりましたが入れてるものが少ないので特に問題にはなりませんでした

しばらく放置するとしてなかなか良い感じに功績上がってます
6000ぐらいまで来たのが嬉しいけど功績数をもっと増やしたいと欲が出てきますねー

>>250
/etc/boinc-client/gui_rpc_auth.cfg のパーミッションを644にしてみてはどうでしょうか。

>>251
私の環境ではlocalhostにパスワード設定していれば
マシン選択をlocalhost -> ラズパイと切り替えるとlocalhostのパスワードが使われる様になっています。
ただ、そういう需要ならtuiを使った方が簡単ですよ。

>>252
私も同じ思いで昨晩プログラムをCPU最適化リビルドしてみました。
効果があるのかは明日の午前９時にならないとわかりませんがｗ

397位
https://boinc.bakerlab.org/rosetta/top_teams.php?sort_by=expavg_credit&;offset=380

やばい
ガンガンランクが上がってるｗｗｗｗ

>>254
すごい…
精通してる人はそこまでやるのですね
上司も昔OSのコードを写経したとか聞きましたけど
どうやらぼくは作るより提供されたものを組み上げて使う方が向いてるようです
AWSは進化が早すぎて疲れ気味だったので今はこっちがすごく楽しい

インストールするタイプの方が好きですなぁ

>>234
私もこのやり方に変更。
パスワード入力もないからこれは楽ちん。

>>256
ソース落としてコンパイルオプションつけてビルドし直すだけなんで誰でも出来ますよ。
boincのビルドはメモリそんなに使わないので3B+実機で出来ましたし。
...ただ明日の午前９時に結果が出なければ単なる実験ですねｗ

新しいメンバーが参加されましたね。
メンバーが増えるとうれしいですね。

既存アカウントにRPiをもう1台追加する時、Webから設定した内容はどういう風に反映されるの？

4B(4GB)と3Bがあって、例えば「CPUコアとメモリをを75%まで」と指定した場合、
4BではCPU3コア・メモリ3GBまで使って3BはCPU3コア・メモリ750MBまで使うってこと？

このスレの中心的話題であるBOINCだけど、
この開発元はカリフォルニア大学バークレー校。

日本でも、同様の分散コンピューティングないのかなと思ったら、
https://www.boinc.tokyo/boinc-tokyo-1 っていうのがあった。

”
世界を恐怖に陥れつつある新型コロナウイルス(SARS-CoV-2)は中長期的な形で我々の生活に悪影響と恐怖をもたらし、猛威を振い続けております。
タンパク質をキーワードに非常識の中に隠されている新常識が数億通りの組み合わせの中から見つけられることをBOINC@TOKYOは信じております。
　どうぞ、
　Rosetta@home
　Folding@home
　BOINC関連プロジェクトへの参加をお待ちしております。（私たちのチームに参加しなくても、全体の参加者数が増えれば、私たちチームの願いは達成します！）
”

これもBOINCの基盤を使っているということなんだろう。

参加者一覧
https://www.boincstats.com/stats/-1/user/list/0/0/149601701/

日本のプロジェクトに参加するのもいいなあ。

>>253
解決（？）しました

iPhoneのtermiusというsshクライアントを利用すると見えなくて、同じtermiusでもiPad版だと問題無く表示されました

環境依存？によるもののようです
お騒がせして申し訳ありませんでした��

https://gigazine.net/news/20200427-china-cyberattack-coronavirus-research/

アメリカ政府は、新型コロナウイルスについての研究や治療薬の開発などを行っている国内の政府施設・医療機関・研究所・製薬会社などへの
サイバー攻撃が激化していることを明かして、警戒を呼びかけました。こうしたサイバー攻撃は、主に中国から行われたものだと見られています。

>>262
iOSでしたら有料になりますが
prompt2というPanic incのツールがいいですよ

こやつの良いところはサーバや鍵ファイルをPanic incにアカウントがあれば同期できるところです
後は位置情報を使ってSSHのセッションが切れないようになってます
ただ日本語に弱いところがあるので英語キーボードでの利用が推奨です

起動画面
https://i.imgur.com/HnLAu2x.jpg

ログインしたとき
https://i.imgur.com/hGEBCxa.png

boinctui起動したとき
https://i.imgur.com/9PbSjBK.png

>>256
やばいですねｗ
いまは387位です。

>>265
少し上にMSチームがいて、
上位の人のコンピュータを見たら
Windows 10に混じってUbuntuがあってちょっと笑ったｗ

>>264
情報有難うございます！

ランチ〇日分か…（笑）

凄く高機能で良さげですね
ああ、悶々としてきました(≧Д≦)

最近はWindows上でLinux動くから…

COVID-19関連が降りまくってて嬉しい……
ラズパイ4 を二台目買おうかなぁ
政府からの10万円もあればもっかい社会貢献できる

>>265
上位陣が優秀すぎて震えてます(こないだまで銅だったのに今銀ですしねぇ)

>>267
こちらはiOS、iPad OSの両方でユニバーサルアプリとして使える買い切りのものになります
そして間違えた…
もしご購入する場合はiPad OSに外付けキーボードつけた場合に
キーボードかGUIが見づらくなるのでお気をつけ下さい

prompt2、すごくきれいで使いやすいよね俺も使ってる
panicというmacでは有名なデベロッパーのアプリらしい

>>268
それか！・・な？ｗ

>>269
あ、ほんとだ・・・＜銀

まああれですよ、力がなければ数を増やせばいいじゃない、ってやつですよ。

全ては打倒コロナ（とかその他いろいろ）のために。

>>260
私は個別で設定しているので使ったことはないのですが、
そういう理解でいます。
ただ、実際には、使用可能なメモリの75%になるでしょうから
サイズはもう少し小さくなると思います。

全ての8タスクが8タスクともCOVID-19になりました(12時間タイプ
ガンガン回さなくちゃ！がんばれ！がんばれ！

>>270
mac専用で開発してきている会社だけあってデザインが良いのがぼくもお気に入りになってます
iTermとかとかも使った覚えがあるのですがprompt2に落ち着きました
あんまり書くと色々紹介したくなりますがスレチなので控え控え。。

>>272
おめでとうございます！
ちょっとずつ増やして行くことにしていきますー
緩々今は緩々貢献します

新しいメンバーさん！ ご参加嬉しく思います。

375位
https://boinc.bakerlab.org/rosetta/top_teams.php?sort_by=expavg_credit&;offset=360

>>277
まだまだあがりますね
チームの皆さんもうちの子達も4/27の〆に向けてラストスパート中！

小さいファンをゆっくりと回すだけで、
20度も温度低下した。

Raspberry Pi 4の全体を包み込むタイプのヒートシンクの上に、
ちょっと乗っけただけで劇的な温度低下。

>>279
64度から44度に下がりました \（^^）/

アーマーケースって奴に30mmファンを3vで回して46度プラマイ1くらい

>>277
現在368位です。

11位のrosewineさんを捕捉しました
順位って合計功績数じゃなくて平均功績のほうなのですね

>>283
どうしたんですか？

古いハードディスクに、boincの作業ディレクトリ移しました。
これでSDメモリーカードの劣化を防止できます。

>>283
ああそう言うことですか。
私個人はチーム内での順位はあまり気にしない事にしています。大切な仲間ですからね。
チームの順位も上がれば嬉しいですがあくまでコロナやその他難病に対する貢献度の目安ですからね。
‥と言いつつもつい熱くなってしまいますがｗ

360位。
https://boinc.bakerlab.org/rosetta/top_teams.php?sort_by=expavg_credit&;offset=340

>>287
順調ですね。
９時以降130台参加のすぐ上のチームもまくるでしょうね。
(全然本気出してないでしょうけど)

SDカードの劣化は考えてなかったなぁ…
データだけでも外付けHDDに放り出すかどうかかぁ
やろうかな……

>>284,286
チーム内の順位も全体としての順位も上がるよう貢献中ですｗｗｗｗ
もちろんCOVID-19の解析も忘れずやってます
まずはこやつをなんとかせねばが大事ですからね

新規構築時からSDカードを傷めずに解析する場合の方法

1. 事前にSSD及びHDDをマウントし認識させる
2. 認識させる際には /var/lib/boinc-client とする
3. PCを新規構築時はこの方法で解決できるる

現状動かしている場合の方法

1. 一度boinc-clientを止めるので systemctl stop boinc-client で止める
2. boinc-client をmv で一度別名にする
3. 外付けHDDを /var/lib/boinc-client にマウントする
4. mvで /var/lib/boinc-client に別名フォルダの中身を移動させる
5. systemctl start boinc-client で起動する

後でやります
OSがubuntsの場合なので他OSが同じかわからないため
boincの生成しているファイル調べ方は locate もしくは mlocate をインストールすることで調べられます
使い方は 最初に sudo updatedb を行い、locate boinc-client で調べられます

オーバークロック再挑戦です。

前回は4B/2GBでしたが、メモリも影響しているかもしれないと思って今回は4B/4GBで。
ファンの電圧は3.3V→5V、温度は50℃前後から上がっても60℃弱。
でもね、やっぱり速くならないんですよ。というかあまり変わらないっぽい。
ベンチマークの数値は上がっているのにフル稼働させると速くならないということは・・・

ふと気付いたのが、ファンの音。・・・微妙に安定していません・・・。
1.5GHzで確認すると安定していましたので、
どうやら2GHzで動かすには電源がパワー不足だったようです orz

やっぱりちゃんと準備してからでないとだめですね。
というわけで、次こそは！

次回予告
『三度目の正直 or 二度あることは三度ある』

>>288
チーム名や平均功績値から想像するに、
業務で使っていない時間帯に動かしてるんでしょうかね。

>>292
でしょうね。実際どんな構成かはともかく、高級マシンをフル稼働させてない事は確かですなｗ

私は電源はピンヘッダ経由です。参考にさせて頂いた以下のブログでは3B+の例ですが。
http://wbbwbb.blog83.fc2.com/blog-entry-232.html
あまり電電関係に詳しいわけではなく、「USB給電よりは制約が緩いみたいだから何かといいんじゃね」位の認識ですけどｗ
1年以上この方式使ってますが何か破損したり等の問題が出た事はありません。

>>293
なるほど。
ピンヘッダ経由にした方がよさそうですね。
情報ありがとうございます。

>>294
いえいえ。大したことは知りませんがチーム躍進に繋がるならば
役に立ちそうな事はシェアしたいので。

以下は4BのGPIO配列です。3B等と一緒ですね。
https://blog.stabel.family/raspberry-pi-4-multiple-spis-and-the-device-tree/
電源と配線を準備したら5V(+極)とGND(-極)にコネクタぶっ刺して通電すれば 普通に動くと思います。
リミッター解除でジャンジャン稼がせちゃって下さいませｗ

平均値の変動が僅かになってきました。単体だとこんなもんかな？と思いつつちょっと寂しい（笑）

ということで私も「にわかオーバークロッカー」

4B 4GB
over_voltage = 6
arm_freq = 2000

温度はファン付ケースで50後半〜60度で安定していて、ファンは早くなったり遅くなったり

劇的に変わった！という印象ではないですね(^^;

>>296
ラズベリーパイでオーバークロッ苦（笑）。

>>287
現在354位です。

ラズパイ4をオーバークロックしてもあまり速くならないのって、ストレージが原因なんかね?
スワップや/var/lib/boinc*をauSBメモリやHDDに移したら多少はましになる?

>>296
https://i.imgur.com/joFBWkK.png
こみっちりごにょごにょすると案外こうなるかも知れませんよ。
複数台に実施なら更に効果絶大。
でも決して無理はなさらないで下さいね。

>>298
新規の方々が軌道に乗って来られると更にいい感じになりそうですね。

>>299
早いストレージを使うとsshのレスポンスすら違ってくるので期待は出来ますね
私の環境では途中USBメモリ -> 安SSDへと換装しましたが効果ははっきり体感出来ました

>>297
誰がうまいこと言えとw

ID変わってますが296です

>>300
ID変わって296です

凄いですね！

どんな環境なのか興味あります…

早くワクチン出来ますように！

>>303
3B+ rootfsはSSD(電気街の怪しげな店で買った安物)
既存Raspbianは64bitカーネルは捨てていて使えず、メモリがきついので
Ubuntuにしたいのを堪え、よりシンプルなDebian 64bit を選択

大体こんな感じです

>>304
有難うございます！

やっぱりmicrosdのI/Oがボトルネックか…

挙動が不安定なときってI/Oインジケーターが点灯しっぱなしなのが気になっていたんです

ボトルネックというか、寿命が近いのかも（汗）

ubuntuも仮想メモリがあればなあ。3Bのメモリ1GBってダメかなあ（かれこれ1時間くらいboinctui眺めながら

>>306
1Gで頑張っている人もいるけど、
厳しいと思うよ。実際、打診はあるものの仕事がメモリ不足で割り当てられない。

CPUの潜在パワーも発揮できないからもったいない。

>>305
マイクロSDは得てして書き込みが遅いですからねえ
せっかく演算自体が早くても演算結果の記述が遅いと勿体ないですよね

私はクソザコ3B+が皆さんの足手まといにならぬ様、出来うる工夫(と言う程のものでもないですが)をこらして
あの折れ線グラフを絞り出してみました。

ただ、それでも所詮4Bには及ばないですけどねｗ

NFSサーバーにBoincの作業ディレクトリの内容を移して、
ネットワーク経由で動作させてみた。
NFSのマウントで実現した。

ボトルネックのために、CPUがフル稼働にならなかった。止まって、動いての繰り返し。しかも、すべてのCPUコアが利用されなかった。

また、topコマンドでは動作しているとわかったが、
boinctuiや、マネージャーからクライアントに接続できなくなった。
理由はわらないまま。

もとに戻した。

>>308
自分も、SDメモリーカードを使っているけど、
常にCPUは4つともフル稼働でした。

なので、SDメモリーカードスロットがボトルネックにはなってないと思いました。
SDメモリーカードの書き込みが遅いものを使うとだめだろうと思います。

シーケンシャルライトは早くてもランダムが全然駄目なやつもあるので。
これは、自分でテストしてみないと、どのSDが良いかわからないです。

サンディスク、東芝あたりの、容量は64程度で上位のタイプが良いと思います。

>>310
自分もSDでもUSBでもCPUの働きはSSDと違いはなかったのですが、
仕事の片づき方に差があったんですよね。
そうか、自分サンディスクでもきっと格安のだから駄目だったんですなｗ
確かな情報ありがとうございます。

NFSは駄目ですか。ちょっと興味あったんですけどね。
ただ、余裕があったら自分もトライしてみます。

>>311
エクストリーム、エクストリームプロは、
ランダム書き込み性能にも優れていました。

>>311
NFSは、boinc-clientサービス動作の前に、
マウントを完了させないといけないんですけど、
これがうまくできませんでした。

結局、手動でboinc-clientサービスを起動させました。
あとは、さっき述べたとおりです。

今日はその試行錯誤で終わりました。

>>313
お勧めのSD、近いうちに試してみます。

NFS越し、試しにやってみたら取り敢えずですが出来ちゃいましたｗ
https://i.imgur.com/fyD2emx.png

今のところサービスではなくroot権限での boinc --daemon --allow_remote_gui ですが、演算は機能している様です。
NFS内のパーミッションさえどうにかなればサービス起動もいけそうですが、nobodyから変更出来ないorz
NFS使用歴が浅いものでｗ

>>314
NFS自体は自分でちゃんと勉強して出直してきます

まな板さんの電源予報。

例の「アメリカンなバイク気分」号にUSB-Cの電流計をつけたら概ね1.00A程度しか流れてなかった。
OCも何もしてないし、放熱が気分任せ(汗)なので致し方ないけど、そんな感じです。

割と涼しい場所に移動したらwifiの接続が不安定という別の問題。
気温も上がり始めいよいよ課題が重く、ヒートシンクも重く…

別のPCにRAMディスクを用意してそこにNFSでマウントを(やりすぎ

>>317
おー、その前に、ネットワークというボトルネックが。
でも、磨り減るものはなくなるよね。

zramって既にみんな使ってるのかな

字面的にはメモリの一部をディスク的に使うものな気がするけど、メモリががっつり確保できるなら導入してみたいですね

以前、DDRメモリアレイをSATAに変換してディスク代わりに使える製品があったなあ。これを、USB変換すれば擦り減らないディスクになるなあ。

Win10向けのフリーなRAMディスクのソフトがあったので載せとく

ImDisk Toolkit
Ramdisk for Windows and mounting of image files
https://sourceforge.net/projects/imdisk-toolkit/

NFSはがっつり勉強しとこっと

https://i.imgur.com/5u57Q5m.png
なんだか漫画じみたグラフになってきた
まだまだ傾斜はきつくなる模様
収入もこれくらい　...ｹﾞﾌﾝｹﾞﾌﾝ

340位です。
https://boinc.bakerlab.org/rosetta/top_teams.php?sort_by=expavg_credit&;offset=320

ラズパイ4で動かしてるboincの作業ディレクトリを、USB3.0接続のUSBメモリに移してみた。
少しは速くなるかな?

NFS出来た！
サービスもおｋ！
ついでにmallocしちゃえｗ

>>325
書き込みレートが上がるでしょうから期待できますね。

そうかUSBメモリもありかぁと思ったけど3.0なのですね
SSD買ったしそっちで良いかなぁ

そしてzram調べてたら面白そうなグラフィックツールがあったので試そうかな…
見栄えがすごく綺麗だしブラウザから観れるならありだなぁと思いつつ
ttps://goozenlab.com/blog/2019/08/telegraf-pi-install/

肝心のzgramはこちら
ttps://goozenlab.com/blog/2019/09/pi-zram/

free -mを叩いたとき、availableが物理搭載量の半分位の時と、二桁でヒヤッとするときと大体2パターンあるのですが、これってBOINCの動作に関係あると思われますか？

ラズパイはもっぱらBOINC専用機です

>>326
システム起動時に、fstab設定に基づいた
NFS経由で自動マウント後に、
自動でboinc-clientを起動できましたか？

boinc-clientは、NFS経由でマウントされたディレクトリが使用できる状態で、
はじめて問題なく起動できるはずなのですが、
どのようにそれを保証しているのですか？
After Required の設定を、USB HDDのマウントのときと同様に設定したのですが、
うまくいきませんでした。

私は、おそらくその依存関係で自動でboinc-clientサービスを起動できなかったので、
手動で、systemctl start boinc-client して起動することはできたんですけど。

それから、ネットワークがボトルネックになってCPUの使用率って落ちますよね。

>>325
それは、USBメモリの書き込み性能に強く依存すると思いますよ。
安い数百円のUSBメモリは、USB 3.0対応でも、書き込みが非常に非常に遅いですから。

サンディスクのExtremeとか、Extreme Proなら大丈夫だと思います。