とりあえず、wata909さんはGeoWebCahceを入れておられるはずなので、ダメ押し的に無いと確信しました。 とりあえずひとつだけなら総量もオーバーしないようなので、そっち方面で行こうかと。

OpenLayers+kml+IE が、なぜか遅い。理由不明。ぐふぅ。「重い」と思ったら、他のブラウザをためしてみるといいかも知れません。