CentOS 7.4から7.3にダウングレードしたいのですが、
どのようにすれば良いのでしょうか？

yumでやろうとしてCentOS-Base.repo内の、
$releaseverを変える方法はできないようです。