スレ違いで申し訳ないんっですが、join コマンドの使い方について教えてください。

下記のような「時間,数値」を持ったcsvファイルがあり、時間をキーにして結合したいと思っています。
コマンドを調べたところ「join」(もしくはpaste)コマンドがぴったりだったので

join aaa.csv bbb.csv

とコマンドを実行したのですが、期待結果が返ってきません。
ファイルの内容と期待結果は以下です。

aaa.csv
-----------------------
23:00:00,4.12
23:05:00,17.07
23:10:00,2.04
-----------------------

bbb.csv
-----------------------
23:00:00,4.35
23:05:00,8.39
23:10:00,2.07
-----------------------

ジョインした期待結果
-----------------------
23:00:00,4.12,4.35
23:05:00,17.07,8.39
23:10:00,2.04,2.07
----------------------

どうしたら期待結果のようになるでしょうか？