日本直角座標系(でも何でもいいのですが)で、図郭ごとに切られているポリゴンたちをPostGISに叩き込んでいるとします。 ディゾルブをかけて、緯度経度座標系に変換して…というのをやりたいのですが、次のようなクエリを作りました。 INSERT INTO <table_dst>(...,the_ge</table_dst>…

で、めでたくダンプ形式のファイルができたので、叩き込んでみたところ、一部でエラー発生。 "geometry contains non-closed rings" と怒られました。 うーん、くまった。 shp2pgsql は、デフォルトでは WKB (正確には"EWKB")を出してくれるのですが分かりづ…

「おかしい」と首をひねっていました。 属性に "Shift JIS" が入っているシェープ(正確にはdbf)を、文字コードをUTF-8にしたPostgreSQL/PostGISのダンプ形式に変換していました。 shp2pgsql で -W オプションで文字コードを指定できるのは id:yellow_73:2008…

id:yellow_73:20080115#p1 の続き。この時点では「あるらしい」としか書きませんでした。 --with-iconv でコンフィギュア、コンパイルします。でないと実装されません。 iconvはportsから入れてあったのですが、configureが/usr/local/{include,lib} を探っ…

id:yellow_73:20080116の続き。 まず、コメントでid:s_yasue さんから頂いた情報の ftp://ftp.software.ibm.com/ps/products/db2/info/vr95/pdf/ja_JP/db2sbj950.pdf にアクセスしてみました。 この場を借りてお礼申し上げます。 このURLにあるリソースは、D…

まだハマってないけど、マニュアルに書かれてたことなので、メモ。 いわく、大きなジオメトリデータを持つ小さなテーブルの場合、クエリプランナーは小さなテーブルに引きずられて、シーケンシャルスキャンをやってしまい、GiSTインデクスを無視する場合があ…

id:yellow_73:20071207#p3 の続き。 現行の shp2pgsql には -W <encoding> オプションがあって、文字コード変換をしてくれる模様。 ろくにマニュアルを見なかいというのが改めて露呈されました、と。</encoding>

id:yellow_73:20071208#p3 の続き。繰り返し的ですがスターありがとうございます。ただ、これデータの元をさらしていないのですが、いいのでしょうか。 陸域と海域とを色分けするために、海岸線データを使っていたためです。このデータ、マルチポリゴン1レコ…

で、id:yellow_73:20071207#p2 の続き。スターありがとうございます。 まず、シェープのDBFファイルについて、シフトJISからEUCに変換。 続いて、shp2pgsqlを使ってSQLを生成し、nkf でEUCからUTF-8に変換。この際、shp2pgsqlに -p をつけたものと -a をつけ…

これも続き物ですが id:yellow_73:20071207#4 の続き。 プロセスを動かして寝てたらその隙にディスクがいっぱいに。使わないデータまで叩き込もうとしたから…。 もっとも容量食いの標高データはしばらく使わないから叩き込まないようにしました。

PostGISにデータを入れる際はシフトJISでなくUTF-8にしています。これは私の信仰と考えて頂いて差し支えありません。 shp2pgsql を使うのですが、はじめはこれでSQLを生成して、nkf をかけてUTF-8にしてやればいいだろう、と考えていたのですが、どうもうま…

id:yellow_73:20070817 のつづき。 データをモルモット機に叩き込んだのですが、同じジョブを個人サーバ機にさせる。 モルモット機でやったときは、いろいろあって何度か中断したため通しの正確な時間は分かりませんが、おおむね24時間と見積もっています。 …

ジョブを強制終了、いくつかのファイルに分けて順次実行させていたので、その続きからやることに。トランザクションを使っていないので、途中終了したファイルから差し込んだレコードは残っているので、それを削除、途中終了したファイルからジョブを動かし…

7分で100M分書き込まれてる…。

いろんなファイルを消してまわって、/usr 使用領域を90%程度にしたうえで再開したところ、しばらくすると、二、三十分ごとに1%ずつあがってくる。 さらにいろんなファイルを消してまわって、10%程度削除。それでもずんずん増えてくる。 データベースのデータ…

id:yellow_73:20070816#p1 の続き。ジョブを走らせていましたが、途中で No space left が出た orz

id:yellow_73:20070420#p2 の続き。 やってることは、単一テーブルのデータに対してごにょごにょと手を加えたあと、INSERT文を生成し、それを片っぱしから実行していくだけです。 現在、データの入替をしているのですが、今回はジオメトリをSRID付にしたため…

http://www.yaskey.cside.tv/mapserver/manual/qgis.html あたり参照。 日本語対応OK。PostGISのテーブルをまんまレイヤにしてくれました。 レンダリングが遅いような気がしますが、じゃあどうすればいいか(解決できるか)と言われたら、そんな頭ないし…。

主なSRID一覧 http://bubble.atnifty.com/modules/bwiki/index.php?SRIDListSRIDを使うには、postgis/share/spatial_ref_sys.sql を実行する必要あり。 SRID間の変換は、Transformを使います。この場合、longlat-WGS84 から UTM51-WGS84 への変換です。 sele…

モルモット機で全件叩き込みました。 4時間経過して、47ファイル中28番目だったので、7時間はかかると見ていましたが、結局は、4時間10分で終わりました。 サーバの方にもデータを入れたら、1時間50分でした。

id:yellow_73:20070419 で、街区レベル位置参照情報が更新されていたことを言いました。 これは個人的にはノドにひっかかっていたトゲが外れたことを意味します。 つまり、id:yellow_73:20070228 の処理が必要なくなったわけです。また、id:yellow_73:200611…

国土数値情報の行政区画ぐらいしかデータを持っていないので、平面直角座標系の系番号を得るのは、完全には実現できません。海上のデータがないですから。 とりあえず陸上のみと限定した場合の話です。 まず、id:yellow_73:20060501 をふまえて、都道府県コ…

先に放り込んであった行政区画データとリンクさせようとすると、地方公共団体コードが違ってるのがありました。北海道八雲町(八雲町さんはなんら悪くありません)。 ということで、やっぱり諦めます。

これまでのあらすじは次の通り。 id:yellow_73:20060718 で、国土数値情報を覗きました。 id:yellow_73:20060725 で、行政区域データの岐阜県について、シェープ変換ツールが食ってくれませんでした。 id:yellow_73:20060726 で、データ自体に問題があったと…

PostGISマニュアル日本語版 http://www.ne.jp/asahi/free/hiroro/postgis/manual/お世話になってます。

岐阜県はとりあえずおいといて、緯度経度から市区町村を引くのに、どれぐらいのレスポンスがかかるかを見てみたところ、岐阜を除いてフルにポリゴンを入れた状態では、モルモットサーバで8秒程度かかりました。これじゃあさすがに使えない、ということで、高…

元のデータに問題があったそうです。 現在、訂正とチェックをされているとのことで、もう少し待つ必要があるみたいです。少なくとも、現時点では更新されていませんでした。

id:yellow_73:20060718 の続き。 シェープファイル変換ツールを使ってみたところ、行政区域データの、岐阜県だけ変換できない。無理にshp, shx, dbf が生成されるけど、ArcViewで食ってくれない。原因不明。

id:yellow_73:20060406 でやってる市区町村シェープファイルの新版が出たので入れ替え。

国土情報の閲覧・提供サービス http://w3land.mlit.go.jp/ をのぞいてみました。 国土数値情報シェープファイルをつくる 国土数値情報ダウンロードサービス(JPGIS準拠データ) http://w3land.mlit.go.jp/ksj2/index.html で、 ダウンロードしたデータをシェー…