用 Python 實現 PowerDesigner 資料模型檔案的處理

petjiang發表於2015-05-09
Python模型

簡述

目前在銀行研發中心做專案管理工作。我們單位的專案經理從需求、設計、編碼到測試以及上線，都要有很大程度的參與。沒有工具支援，很多事根本忙不過來、或者沒法在有限的時間裡保證專案質量。
大概半年前開始接觸PYTHON，多多少少寫了一些能與專案結合使用的小工具。
從自動化交易介面生成工具，到一些適合我們專案使用的測試工具。
因為專案性質，我手頭大部分活兒都是C平臺上開發的，我自己也是對C比較熟。 使用PYTHON之後，感覺大好，比起用C實現，一些想法能以快得多的速度用python得以落實或驗證，PDMHandler是這些小程式中的一個。

目前此程式碼託管在GitHub上：

編寫背景

  • 我們專案常用PowerDesigner做專案的資料建模管理。
  • 銀行對執行中的系統管理是比較嚴格的，若部署產生問題，可能波及到客戶關係、輿情、賬務等，風險不小，所以對專案組的要求也十分嚴苛。
  • 銀行系統由於可靠性要求高，所以技術上不會用到最前延的。但業務需求通常較為複雜、而且變化快，資料模型變化相應也就頻繁。

目的

我們常見的使用場景，就是修改PowerDesigner模型檔案(.pdm)，轉成SQL，在開發環境上變更資料庫例項、業務程式碼開發。

大量併發需求來時，pdm常被改亂，時間一長pdm與資料庫例項的一致性就不能得到保證了。一些較大型的系統幾百上千張表，靠人工核對一致性是很苦的體力活兒。

PDMHandler實現的API可以解決這個過程中的SQL生成、PDM與資料庫例項的比對、在unix環境下檢視pdm資料字典等功能。

實現原理

其實，實現原理還是比較簡單的。

只需要突破一個關鍵點：

PowerDesigner的模型檔案(.pdm檔案)實際上是一個標準的XML資料檔案
沒想到吧？:)

一但瞭解了這一點，實現對.pdm檔案的解析就變成了對xml檔案的處理。

剩下的事就是:

（1）選用合適的python的xml庫 （注：PDMHandler採用了xml.dom.minidom）
（2）分析.pdm檔案的詳細結構
（3）定義PDMHandler工具類的API介面，實現對.pdm的操作、解析

附註：PDM檔案結構簡析

所有的”包、表定義、表欄位定義、索引、索引欄位定義等“全都定義在.pdm檔案的這個路徑下（以類檔案系統路徑方式表示）：

shell/Model/o:RootObject/c:Children/o:Model

比如(包 – o:Package)定義：
注意：包定義是可巢狀的,/c:Packages/o:Package可反覆巢狀；另外o:Model本身也可以看作一個包

shell/Model/o:RootObject/c:Children/o:Model/c:Packages/o:Package ...

再如(表 – o:Table)定義：

shell/Model/o:RootObject/c:Children/o:Model/c:Packages/o:Package/c:Tables/o:Table ...

其它PDM元素的位置不再冗述，請見程式碼PDMHandler.py
以下是Github中此專案的README.md檔案，直接貼一份過來供參考 ?
歡迎fork/clone此專案，提出建議
專案主頁：https://github.com/petjiang/PDMHandler
原始碼地址：git@github.com:petjiang/PDMHandler.git

PDMHandler

A tool class to handle sybase PowerDesigner datafile(.pdm).
Currently, it is able to handle PhysicalDiagram in .pdm.

Source Code Intro.

PDMHandler.py

The class implementation of PDMHandler.
use following command to see help docs (sorry that I type it in Chinese):

shell$ echo "import PDMHandler; help(PDMHandler);"|python

TEST PDM files

PowerDesigner model file (.pdm) is prepared in [repodir]/src/testpdm
use these as input argument for testing the example1.py
* NOTICE: (.pdm) files come from PowerDesigner15 directory [SybasePowerDesigner 15Examples]

example1.py

  • It is a usecase of PDMHandler class, read it as a reference code.
  • example1.py shows 5 levels of pdm file — Package/Table/Column/Index/IndexColumn
  • each level has their own attributes which are defined in PDMHandler class :
pythonPKG_ATTR_LIST=["Name","Code","CreationDate","Creator","ModificationDate","Modifier"]
TBL_ATTR_LIST=["Name","Code","CreationDate","Creator","ModificationDate","Modifier", "PhysicalOptions"]
COL_ATTR_LIST=["Name","Code","CreationDate","Creator","ModificationDate","Modifier", "DataType","Length","Column.Mandatory","Comment"]
IDX_ATTR_LIST=["Name","Code","CreationDate","Creator","ModificationDate","Modifier", "PhysicalOptions","Unique"]
IDXCOL_ATTR_LIST=["CreationDate","Creator","ModificationDate","Modifier"]

By running :

shell$ python example1.py testpdm/Consol.pdm

shows the output to standout :

shell P: Duplicated Database DUPLICATED_DATABASE lpommier
  T: Duplicated Account DUPLICATED_ACCOUNT vaudino
   T-PATH: /Model/o:RootObject/c:Children/o:Model/c:Tables/o:Table
   C: Email EMAIL char(256) 256 1
   C: Name NAME char(256) 256
   C: URL URL char(256) 256
   I: ACCOUNT_PK ACCOUNT_PK 1
    IC: EMAIL
  T: Duplicated Auteurs DUPLICATED_AUTEURS vaudino
   T-PATH: /Model/o:RootObject/c:Children/o:Model/c:Tables/o:Table
   C: Email EMAIL char(256) 256 1
   C: Title TITLE char(256) 256 1
   I: AUTEURS_PK AUTEURS_PK 1
    IC: EMAIL
    IC: TITLE
   I: Publication_FK PUBLICATION_FK
    IC: EMAIL
   I: Authors_FK AUTHORS_FK
    IC: TITLE
  T: Duplicated Publication DUPLICATED_PUBLICATION vaudino
   T-PATH: /Model/o:RootObject/c:Children/o:Model/c:Tables/o:Table
   C: Title TITLE char(256) 256 1
   C: Email EMAIL char(256) 256 1
   C: Pub_Title PUB_TITLE char(256) 256
   C: Summary SUMMARY long varchar
   C: Keywords KEYWORDS char(256) 256
   I: PUBLICATION_PK PUBLICATION_PK 1
    IC: TITLE
   I: PUBLISHER_FK PUBLISHER_FK
    IC: EMAIL
   I: REFERENCES_FK REFERENCES_FK
    IC: PUB_TITLE

Why I write it ?

Yes,it is just a tiny code for fun.

But I hope more features will be added in it, and it will be useful to solve some headachy problem. Just like :

  • compare the online database instance with PDM file.
  • autogen SQL schema from PDM file (PowerDesigner`s auto-gen setting sucks)
  • autogen ORM fro PDM file (seems awesome?!,support embed c,SQLAlchemy..)

相關文章