カーネルもDEも何でも良い
サービスが原因じゃね

足し算的発想で、Xfce含め最小限構成にすれば軽くなる
めんどくさいならUbuntu 22.04, linux mint 21.xまたはDebian 11 Bullseye使ったら良いさ


ffmpegの7系で高速化するかどうかは知らんけど、distroのもサンドボックス系のも、古い4系ばかり
新しいffmpegを試したいならDebian standard 12.10 Live ISOからインストール、13 Trixieに上げて、あとxfce-desktopか何か入れればffmpeg-7.1環境かつ日本語環境だ

Xubuntu 25.04はDebian 12 MATEより重い印象(どちらもLive ISOベースの印象)
「近年のXfceは重くなっていてantiXかMATEの方が軽い、下手するとGPU描画のKDEより重い」かも知れん