解決しました
ホームディレクトリの暗号化をしていたことが原因でした
ecryptfsというファイルシステムで暗号化しているそうで、各ユーザーのホームディレクトリを/home/.ecryptfs以下に暗号化ファイルとして格納しており、ログインパスを復号化パスフレーズとして/home/以下に動的にmountするそうです
なのでローカルコンソールからログインした場合はその瞬間にmountするのでなにも不自由しませんが、ログイン前は/home/user/にはほぼなにもない、つまりsshdはオーソキーを見つけられないということです

オーソキーをほかの場所に置いて読むようにすればsshログインできましたが、その場合でも/home/user/以下はなにもなく、ecryptfs-mount-privateしてcdで入り直さないといけなくて面倒くさいことこの上ないです

サーバーはまだ構築し初めだったこともあり、暗号化しないでインストールやり直します

このせいでほぼ３日間棒に振りました・・・