ctoj - Coppell Technologies

ctoj (シートゥージェイ)

■機能概要
　csvファイルをPPP共通データ仕様協議会が定めるNGSI V2の規格に合致するJSON文に変換します。JSON文はNormalized形式と呼ばれる形式であり、keyValues形式はサポートしていません。

■価格：無償(将来的には有償化する可能性がありますが、その際も既にダウンロード済みの方が古いバージョンを無償で使うことは妨げません)

■入手方法
　このリンクからPythonのソースプログラムを入手できます。このファイルはzip圧縮されています。詳細は後述します。ファイル内のコードはUTF-8なので、ブラウザ等で開くと文字化けする場合があります。ダウンロード後に解凍し、テキストエディタやVS Codeで開く事をお勧めします。また、このプログラムは以下のモジュールを使います。これらは次ページに記載するmy_packageに格納して使います。圧縮ファイルを解凍すると自動的にディレクトリは作成されます。

NGSIv2: NGSIv2関連の処理を司るクラス群
address: 日本の住所の処理を司るクラス
kanji_converter.py: 漢字の変換などを行うクラス

■特記事項
　このプログラムは随時書き換えます。また、互換性は保証しません。
　address.pyおよびkanji_converter.pyの原著作者は渡邊泉氏です。渡邊氏は本ツールのソースプログラムとは関係なく、事前に断りなく如何なる変更も行う権利を有しています。
　一方、ソースプログラムは著作物であり、不具合があっても調査や修正を行う義務を持つものではありません。

■制約事項
　現バージョンでは、以下の機能はサポートしておりません。

geo:jsonを変換する機能
keyValue形式に変換する機能

　JSON Schemaの説明にもサポートしていない機能に関する記述が有りますので、ご確認ください。

■機能詳細

入力ファイル
	inputfile	入力となるcsvファイルのファイル名を指定します。コードはUTF-8。csvはカンマ区切りです
	inputdir	inputfileが存在するティレクトリのバスを指定します。省略すると、dirで指定したディレクトリになります
	schemafile	拡張JSON Schemaのファイルを指定します。拡張JSON Schemaとは、JSON SchemaにcsvからJSONに変換するための指定を追加したものです
	schemadir	schemafileが存在するティレクトリのバス。省略すると、dirで指定したディレクトリになります
	<Entity type>file	csvからJSONに変換する際に参照するファイルのファイル名。<Entity type>は共通データ仕様で定めているEntity type。JSONの形式はリスト形式、つまり大括弧で囲んだ形式です。本ツールで生成する場合はjsontype=arraayて生成する
	<Entity type>dir	<Entity type>fileが存在するティレクトリのバス。省略すると、dirで指定したディレクトリになります
	addressfile	デジタル庁が配付している自治体の名称の一覧のファイル名を指定します。既定値は'mt_city_all.csv'です。
	addressdir	addressfileが存在するティレクトリのバス。省略すると、dirで指定したディレクトリになります
出力ファイル
	outputfile	:出力するJSONファイルのファイル名を指定します。コードはUTF-8
	outputdir	outputfileが存在するティレクトリのバスを指定します。省略すると、dirで指定したディレクトリになります
	logfile	:出力するログファイルのファイル名を指定します。コードはUTF-8。既定値は"ctojlog.txt"です
	logdir	logfileが存在するティレクトリのバスを指定します。省略すると、dirで指定したディレクトリになります
オプション
	dir	各種ファイルが存在するパスの既定値。省略すると"c:\Tools\data"を指定したと解釈される
	jsontype	outputfileのJSON文の形式。JSONとしては以下の3種類をサポートする
			jsontype=entity : 波括弧に囲まれるひとつのEntity outputfileの例。複数行あると、JSONの文法としては正しくない事に留意が必要 { "id": "urn:ngsi-ld:Land:0000000002002-0000", "type": "Land", (中略) }
			jsontype=array (既定値): Entityのリストの形式。つまり、角かっこに囲まれ、Entityが並んでいる形式。 inputfileの例。この例では3件のEntityが存在する。outmode=createの場合はoutputfileには項目名の行含め4行のcsvファイルが出力され、outmode=append場合にはoutputfileには3行のcsvデータが追記される [ { "id": "urn:ngsi-ld:Land:0000000002002-0000", "type": "Land", (中略) }, { "id": "urn:ngsi-ld:Land:0000000002002-0001", "type": "Land", (中略) }, { "id": "urn:ngsi-ld:Land:0000000002002-0002", "type": "Land", (中略) } ]
			jsontype=batch : op/updateに対し指定する、一括登録のためのJSON文 inputfileの例。この例では3件のEntityが存在する。 { "actionType": "append", "entities": [ { "id": "urn:ngsi-ld:Land:0000000002002-0000", "type": "Land", (中略) }, { "id": "urn:ngsi-ld:Land:0000000002002-0001", "type": "Land", (中略) }, { "id": "urn:ngsi-ld:Land:0000000002002-0002", "type": "Land", (中略) } ] }

更新履歴

改版日	改版内容
2024-02-10	初版公開
2024-02-10	日本の住所を都道府県、市区町村、それ以下に分離する機能を追加。詳細は拡張json schemaのformatに対するPostalAddress指定を参照してください。ダウンロードをzipに変更しました
2024-02-14	エラーメッセージ修正。情報追加、IDのユニーク化など幾つかのメソッドの共通関数としての切り出しなど
2024-02-26	##非互換があります## 既存のEntityを検索する処理がネストしても良い様に、dataSourceの指定を導入しました、これにより、既存の拡張スキーマは書き換えが必要となります。新たな仕様については、Json schemaの拡張表現を参照してください。
2024-12-25	outmodeの記述、jsontypeの規定値などの誤記修正使用例の記述を詳細化ダウンロード内容の最新化
2024-12-30	利用例をPPP共通データ仕様協議会のケーススタディの記述に合わせました。使用例の記述を詳細化ダウンロード内容の最新化