最低限環境で動くバイナリやスクリプトなら定番、alpine(or alpine-glibc)
debianリポジトリにある成果物を使いたいならinstall_packagesで自動後始末、minideb(or 公式slim)
自分でビルドオプションを指定したいならportage利用して依存性も解決、gentoo-bb(kulber?)
軽量系だと現状こんな感じか

ArchやRedHat系にもコンテナ向けビルドがあるのかな