PythonはDOMとSAX方式でXMLの応用例の共有を解析する

XML.DOM
データ量が大きいテーブルが必要です.毎日更新すると、そのフィールドはxmlプロファイルで構成できます.つまり、テーブルを作成するたびにフィールドが異なる可能性があります.
上流走では構成に基づいてソースファイルから抽出され、入庫するには構成に基づいてテーブルを作成する必要があります.
簡単なxmlを書くことを解決して、配置はフィールドとタイプを必要とします
対応するデータを上流で読み込む
入庫するには、まず元のテーブルを削除し、構成に基づいて新しいテーブルを作成します.
XMLファイル

id
query
varchar(200)
false
query
pv
integer
false
pv
avg_money
integer
false
処理スクリプト

#!/usr/bin/python
# -*- coding:utf-8 -*-
#author: wklken
#desc: use to read db xml config.
#-----------------------
#2012-02-18 created
#----------------------

import sys,os
from xml.dom import minidom, Node

def read_dbconfig_xml(xml_file_path):
  content = {}

  root = minidom.parse(xml_file_path)
  table = root.getElementsByTagName("table")[0]

  #read dbname and table name.
  table_name = table.getAttribute("name")
  db_name = table.getAttribute("db_name")

  if len(table_name) > 0 and len(db_name) > 0:
    db_sql = "create database if not exists `" + db_name +"`; use " + db_name + ";"
    table_drop_sql = "drop " + table_name + " if exists " + table_name + ";"
    content.update({"db_sql" : db_sql})
    content.update({"table_sql" : table_drop_sql })
  else:
    print "Error:attribute is not define well! db_name=" + db_name + " ;table_name=" + table_name
    sys.exit(1)
  #print table_name, db_name

  table_create_sql = "create table " + table_name +"("

  #read primary cell
  primary_key = table.getElementsByTagName("primary_key")[0]
  primary_key_name = primary_key.getElementsByTagName("name")[0].childNodes[0].nodeValue

  table_create_sql += primary_key_name + " INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY,"

  #print primary_key.toxml()
  #read ordernary field
  fields = table.getElementsByTagName("field")
  f_index = 0
  for field in fields:
    f_index += 1
    name = field.getElementsByTagName("name")[0].childNodes[0].nodeValue
    type = field.getElementsByTagName("type")[0].childNodes[0].nodeValue
    table_create_sql += name + " " + type
    if f_index != len(fields):
    table_create_sql += ","
    is_index = field.getElementsByTagName("is_index")[0].childNodes[0].nodeValue

  table_create_sql += ");"
  content.update({"table_create_sql" : table_create_sql})
  #character set latin1 collate latin1_danish_ci;
  print content


if __name__ == "__main__":
read_dbconfig_xml(sys.argv[1])

関連メソッドroot=minidom.parse(xml_file_path)domオブジェクトの取得
root.getElementsByTagName(「table」)tagに基づいてノードリストを取得する
table.getAttribute(「name」)属性の取得
primary_key.getElementsByTagName("name")[0].childNodes[0].NodeValueはサブノードの値を取得する(idはidを取得する)
SAXはxmlデータファイルを読み取る必要があり、ファイルが大きく、リアルタイム処理でデータベースに挿入する必要がある
xmlドキュメント

  100000
   
  
  ，   
  437
  
1989
  333
  242
  null
    
  
  1
  2 14 

sax処理を処理する場合domのようにノードのような次元で読み取ることはできません.ラベルコンテンツの終了ラベルの分だけを開始します.
処理思想は:1つのhandlerを通じて、開始ラベル、内容、終了ラベルに対してそれぞれ1つの処理関数があります
コードおよび注釈person処理クラス

from xml.sax import handler,parseString
class PersonHandler(handler.ContentHandler):
 def __init__(self, db_ops):
  #db op obj
  self.db_ops = db_ops
  #    person map
  self.person = {}
  #   tag
  self.current_tag = ""
  #   tag      ，    tag   ，       
  self.in_quote = 0
 #  ，  map
 def startElement(self, name, attr):
  # person，  map
  if name == "person":
   self.person = {}
  #     
  self.current_tag = name
  self.in_quote = 1
 #  ，     
 def endElement(self, name):
  # person         person     
  if name == "person":
   #do something
   in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ])
   print in_sql % in_fields
   db_ops.insert( in_sql%(in_fields))
  #  
  self.in_quote = 0
 def characters(self, content):
  #   tag     ，   map 
  if self.in_quote:
   self.person.update({self.current_tag: content})

入庫された完全なコードを追加

#!/usr/bin/python
# -*- coding:utf-8 -*-
#parse_person.py
#version : 0.1
#author : [email protected]
#desc : parse person.xml and out sql


import sys,os
import MySQLdb

reload(sys)
sys.setdefaultencoding('utf-8')

in_sql = "insert into person(id,sex,address,fansNum,summary,wbNum,gzNum,blog,edu,work,renZh,brithday) values(%s, %s, %s, %s, %s, %s,
     %s, %s, %s, %s, %s, %s)"

fields = ("id","sex","address","fansNum","summary","wbNum","gzNum","blog","edu","work","renZh","brithday")

#     
class Db_Connect:
  def __init__(self, db_host, user, pwd, db_name, charset="utf8", use_unicode = True):
    print "init begin"
    print db_host, user, pwd, db_name, charset , use_unicode
    self.conn = MySQLdb.Connection(db_host, user, pwd, db_name, charset=charset , use_unicode=use_unicode)
    print "init end"

  def insert(self, sql):
    try:
      n = self.conn.cursor().execute(sql)
      return n
    except MySQLdb.Warning, e:
      print "Error: execute sql '",sql,"' failed"

  def close(self):
    self.conn.close()

#person    
from xml.sax import handler,parseString
class PersonHandler(handler.ContentHandler):
  def __init__(self, db_ops):
    #db op obj
    self.db_ops = db_ops
    #    person map
    self.person = {}
    #   tag
    self.current_tag = ""
    #   tag     
    self.in_quote = 0
  #  ，  map
  def startElement(self, name, attr):
    # person，  map
    if name == "person":
     self.person = {}
    #     
    self.current_tag = name
    self.in_quote = 1
  #  ，     
  def endElement(self, name):
    # person         person     
    if name == "person":
      #do something
      in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ])
      print in_sql % in_fields
      db_ops.insert( in_sql%(in_fields))
    #  
    self.in_quote = 0
  def characters(self, content):
    #   tag     ，   map 
    if self.in_quote:
      self.person.update({self.current_tag: content})

if __name__ == "__main__":
  f = open("./person.xml")
  #     gbk        utf-8，  decode.encode
  db_ops = Db_Connect("127.0.0.1", "root", "root", "test")
  parseString(f.read().decode("gbk").encode("utf-8"), PersonHandler(db_ops))
  f.close()
  db_ops.close()

普段pythonでデータを分析したり、ツールスクリプトやhadoop streammingを使ったりしますが、面と深さが欠けているのは道行が浅いとしか言えません.もっと実践する必要があります.