udpのポート設定は大丈夫？

ファイアーウォールが開いているかと、
Asterisk側で何番を使うかの指定を明示的に設定してる？

それが設定がズレていると似たような不安定な挙動を起こす時あるよ。