持ってないからよくわかんないけど、そもそもzeroって標準DEでVNCっていけるものなの?
X使うだけでメモリの半分くらい持っていかれるでしょう