とりあえず現状のfontconfig-user.htmlを読んで、このように設定しています。
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE fontconfig SYSTEM "fonts.dtd">
<fontconfig>
<include>/etc/fonts/conf.d/70-fonts-noto-cjk.conf</include>
<include>/etc/fonts/conf.d/70-no-bitmaps.conf</include>
</fontconfig>