boot loopということは
一応インストールはできた、という認識でいいのかな？

今お使いの個体のNAND Flash型番が現行のOpenWrtのドライバでサポートされてないからではないですかね？
R7800はメーカーオリジナルのファームウェアで
sshアクセスできたはずだから、
コマンドを駆使してFlashベンダーと型番を探りあて
その情報をOpenWrt側のドライバに定義追加すればいいんじゃないですかね？