原因の切り分けが必要。
深夜早朝は速度が出るのにGタイムは落ちるというなら
プロバイダが原因の可能性が高いけど、時間帯による変動がなく
常時遅いというなら他に原因があるかもしれない。

北区はアップ方向は安定して速度が出てるんだよな。
1例として、LANケーブル回りに接触不良などがあると
片方向だけ速度が低下するということはあり得る。
まずは家庭内のネットワークで実効速度が出るか確認してみたら。