google-chrome って、フォント設定独得いうか、fontconfigを見ないっていうか、同じような事象にあったことあるなぁ。

~/.fonts とか ~/.local/share/fontsの中がどうなってるかとか。

とりあずこれはやってみた?
sudo rm -rf /var/cache/fontconfig/*
sudo fc-cache -rfv
rm -rf ~/.cache/fontconfig/*
fc-cache -rfv
flatpakなら
flatpak run --command=fc-cache org.freedesktop.Platform//23.08 -r -f -v

※org.freedesktop.Platform//23.08 ←環境に合わせて