wget で再帰的にたどれるけど、iframe みたいに、他のドメインをたどっても仕方ない

それに、再帰的ダウンロードの危険性については既に、>>591
で述べた

今のサイトのほとんどは、
後からJavaScript(JS)を読み込んで(Ajax)、HTML を変更するから、何でも出来てしまう

>>601
で書いたのは、Ruby on Rails で自分で開発したアプリのテストコードですら、
アプリのソースコードの数倍はあるし、どれほどAjaxの管理が難しいかを説明した

JSで動的にHTML が変更されるから、Google 以外の検索エンジンは対応できない。
Yahoo も検索エンジンの開発を辞めた

自分が開発していないサイトの動きを突き止めるのは、それぐらい難しいから、
うかつに削除すると、リンク切れを起こすかも

Googleの開発者よりも実力があれば、出来るかも知れないが