viにとってカーソルキーがついているキーボードは想定されてないから
未知のキーが押されたと解釈されて、たまたま同じ意味になったBが入力されてる