PPPoE接続設定がホームゲートウェイ等に残っててそっちでつながってるとか?
Fitに限らずIPoEがそこまで極端に速度低下する事例はなかなかないと思うんだが