断片的な情報が多く訂正を控えていたけど、初心者が混乱しそうなので多少まとめてみた。

Ubuntuのインストールメディアで「Ubuntuを試す」という操作をすることをLiveディスクというのであれば、最新版というのはインストールメディアのバージョンになる。
例えば20.04の最新は、現在20.04.3になる。
ただし、そのバージョンが作られた後もリポジトリ上のパッケージは日々新しくなるので、20.04.3のパッケージセットよりも新しいものを使いたい場合、それらのパッケージをアップデートする意味はある。

Ubuntuのインストールメディアを別のDVDなどのメディアに焼いた場合、普通の操作で焼くなら「Ubuntuを試す」からapt upgradeしてもその結果はRAM上の書き換えしか起こさず、再起動すれば消えてしまう。
Ubuntuのインストールメディアをrufusなどを使ってUSBメモリなどのメディアに焼いた場合、永続パーティション(保存領域)を使って「Ubuntuを試す」からapt upgradeしても再起動後に残すこともできる。
(バグがあったりして動かないバージョンの組み合わせもある)
この違いはoverlayfsでRAMディスクを使うか、メディアのパーティションを使うかの違い。
このような運用をする場合も、カーネルなどの更新はできない(upgrade自体は出来るが、使用されない)

USBメモリなどのメディアに焼いて永続パーティションに残すくらいなら、UbuntuのインストーラーでUSBメモリにUbuntuをインストールすることも出来る。
こうすると、カーネルや再起動しないとアップデートできないドライバの更新も可能となり、HDD/SSDなどにインストールする場合と同じように使用できる。
ただし、当然インストーラとして使用することはできないし、PC環境が変われば設定次第では破壊的な問題を起こす可能性もあり、運用には注意が必要。