tools/anonym/xmlimport.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# (c) 2008 by Intevation GmbH
# author: Sascha L. Teichmann
#
import sys
from datetime import date

import getopt

from xml.sax.saxutils import DefaultHandler
from xml.sax          import parse

import psycopg2 as dbapi
dbapi.extensions.register_type(dbapi.extensions.UNICODE)

def _int_converter(s):
    return int(s)

def _bool_converter(s):
    return int(s)

def _date_converter(s):
    return date(*s.split("-"))

def _choice_converter(s):
    return int(s)

def _radio_converter(s):
    return int(s)

def _text_converter(s):
    return s

RELATIONS = {
    'master': {
        "einverstaendniserklaerung": _bool_converter,
        "fkz": _text_converter,
        "name_kompetenzagentur": _text_converter,
        "vorname": _text_converter,
        "name": _text_converter,
        "erstgespraech": _date_converter,
        "zugang_kompetenzagentur": _choice_converter,
        "kundennummer": _text_converter,
        "schulpflichtig": _bool_converter,
        "noch_schueler": _bool_converter,
        "bei_eintritt_ist_der_jugendliche": _choice_converter,
        "rechtlicher_kontext": _choice_converter,
        "schnittstelle_zu": _choice_converter,
        "kontaktdaten_arge": _text_converter,
        "kundennummer_arge": _text_converter,
        "kontaktdaten_agentur_fuer_arbeit": _text_converter,
        "kundennummer_agentur_fuer_arbeit": _text_converter,
        "kundennummer_jugendamt": _text_converter,
        "kontaktdaten_jugendamt": _text_converter,
        "kontaktdaten_schule": _text_converter,
        "schulname": _text_converter,
        "kontaktdaten_gerichtshilfe": _text_converter,
        "kundennummer_gerichtshilfe": _text_converter,
        "kontaktdaten_weitere_institutionen": _text_converter,
        "vorname_1": _text_converter,
        "name_1": _text_converter,
        "geschlecht": _choice_converter,
        "geburtsdatum": _date_converter,
        "familienstand": _choice_converter,
        "strasse": _text_converter,
        "plz": _text_converter,
        "wohnort": _text_converter,
        "groesse_wohnort": _choice_converter,
        "vorwahl": _text_converter,
        "telefon_1": _text_converter,
        "mobiltelefon": _text_converter,
        "email": _text_converter,
        "telefon_sonstige": _text_converter,
        "zweiter_wohnort": _text_converter,
        "geburtsland": _choice_converter,
        "geburtsland_sonstige_nennung": _text_converter,
        "muttersprache": _choice_converter,
        "muttersprache_sonstige_nennung": _text_converter,
        "staatsangehoerigkeit": _choice_converter,
        "staatsangehoerigkeit_sonstige_nennung": _text_converter,
        "aufenthaltsstatus": _choice_converter,
        "aufenthaltsdauer": _int_converter,
        "vater": _choice_converter,
        "mutter": _choice_converter,
        "familiaere_situation_1": _choice_converter,
        "vorname_2": _text_converter,
        "name_2": _text_converter,
        "vorwahl_1": _text_converter,
        "telefon_1_1": _text_converter,
        "mobiltelefon_1": _text_converter,
        "email_1": _text_converter,
        "geschwister": _int_converter,
        "anzahl_kinder": _int_converter,
        "haushalt_jugendlicher": _int_converter,
        "alleinerziehend": _choice_converter,
        "familie_selbststaendig": _bool_converter,
        "familie_staatliche_unterstuetzung": _bool_converter,
        "jugendlicher_selbststaendig": _bool_converter,
        "jugendlicher_staatliche_unterstuetzung": _bool_converter,
        "jugendlicher_unterstuetzung_soziales_umfeld": _bool_converter,
        "wohnaufenthalt": _choice_converter,
        "arzt_gutachten_physisch": _bool_converter,
        "physische_beeintraechtigungen": _choice_converter,
        "physische_beeintraechtigungen_text": _text_converter,
        "arzt_gutachten_psychisch": _bool_converter,
        "psychische_beeintraechtigungen": _choice_converter,
        "psychische_beeintraechtigungen_text": _text_converter,
        "mutter_2": _bool_converter,
        "vater_2": _bool_converter,
        "grosseltern": _bool_converter,
        "geschwister_2": _bool_converter,
        "pflegefamilie_1": _bool_converter,
        "stiefmutter": _bool_converter,
        "stiefvater": _bool_converter,
        "verwandte_1": _bool_converter,
        "partner": _bool_converter,
        "heimbetreuerin": _bool_converter,
        "betreuerin": _bool_converter,
        "lehrerin": _bool_converter,
        "mitbewohner": _bool_converter,
        "partner_mutter": _bool_converter,
        "partner_vater": _bool_converter,
        "freund": _bool_converter,
        "keine_bezugsperson": _bool_converter,
        "hobbies_1": _choice_converter,
        "hobbies_text": _text_converter,
        "mitarbeit_organisationen": _choice_converter,
        "organisationen_vereine_text": _text_converter,
        "sonstiges_1": _choice_converter,
        "sonstiges_text": _text_converter,
        "clique": _bool_converter,
        "freundin": _bool_converter,
        "parterin": _bool_converter,
        "schule_2": _choice_converter,
        "klassenstufe": _int_converter,
        "klassenwiederholung": _choice_converter,
        "abgang": _int_converter,
        "nicht_anwesende_tage": _int_converter,
        "unentschuldigte_tage": _int_converter,
        "schulabschluss_1": _choice_converter,
        "schulabschlusserwerbsland": _choice_converter,
        "schulabschlusserwerbsland_sonstige_nennung": _text_converter,
        "abschluss_betriebliche_ausbildung": _choice_converter,
        "abschluss_im_ausbildungsberuf": _text_converter,
        "ausbildungsdauer": _int_converter,
        "wann_abgeschlossen": _date_converter,
        "weitere_ausbildungen": _int_converter,
        "weitere_ausbildungen_text": _text_converter,
        "dauer_weitere_ausbildungen": _int_converter,
        "abgebrochene_ausbildungen": _int_converter,
        "abgebrochene_ausbildungen_text": _text_converter,
        "abschluss_ausserbetriebliche_ausbildung": _choice_converter,
        "abschluss_im_ausbildungsberuf_1": _text_converter,
        "ausbildungsdauer_1": _int_converter,
        "wann_abgeschlossen_1": _date_converter,
        "weitere_ausbildungen_1": _int_converter,
        "weitere_ausbildungen_text_1": _text_converter,
        "dauer_weitere_ausbildungen_1": _int_converter,
        "abgebrochene_ausbildungen_1": _int_converter,
        "abgebrochene_ausbildungen_text_1": _text_converter,
        "massnahmeteilnahme": _choice_converter,
        "letzte_massnahme": _text_converter,
        "finanzierung": _text_converter,
        "austrittsdatum": _date_converter,
        "dauer": _int_converter,
        "weitere_massnahmen": _choice_converter,
        "massnahme_1": _text_converter,
        "massnahme1_finanzierung": _text_converter,
        "massnahme_2": _text_converter,
        "massnahme2_finanzierung": _text_converter,
        "massnahme_3": _text_converter,
        "massnahme3_finanzierung": _text_converter,
        "abgebrochene_massnahmen": _int_converter,
        "erwerbstaetigkeit_job": _choice_converter,
        "letzte_taetigkeit": _text_converter,
        "dauer_1": _int_converter,
        "austrittsdatum_1": _date_converter,
        "weitere_taetigkeiten": _int_converter,
        "weitere_jobs_text": _text_converter,
        "dauer_weitere_taetigkeiten": _int_converter,
        "arbeitslosigkeit_1": _choice_converter,
        "anzahl_arbeitslosigkeit": _int_converter,
        "dauer_nach_letzter_beschaeftigung": _int_converter,
        "dauer_insgesamt": _int_converter,
        "wehrpflicht_zivildienst_freiwilligenjahr_1": _choice_converter,
        "art_des_dienstes": _choice_converter,
        "dauer_2": _int_converter,
        "mutterschutz_erziehungsurlaub": _choice_converter,
        "anzahl": _int_converter,
        "dauer_letzter_erziehungsurlaub": _int_converter,
        "dauer_insgesamt_1": _int_converter,
        "kompetenzfeststellung": _choice_converter,
        "zielsetzung": _choice_converter,
        "begleitung": _choice_converter,
        "welche_vermittlung_nennung": _text_converter,
        "freie_dokumentation": _text_converter,
        "bildender_bereich": _bool_converter,
        "bereich_berufliche_qualifizierung": _bool_converter,
        "bereich_berufsvorbereitung": _bool_converter,
        "bereich_lebensbewaeltigung": _bool_converter,
        "sonstiger_foerderbedarf": _bool_converter,
        "sonstiger_foerderbedarf_nennung": _text_converter,
        "foerderzeitraum_start": _date_converter,
        "foerderzeitraum_ende": _date_converter,
        "dokumentation_zum_foerderplan": _text_converter,
        "anzahl_kontakte_termine": _int_converter,
        "anzahl_der_stunden": _int_converter,
        "zeitraum_fallmanagement": _int_converter,
        "beendigung_5": _date_converter,
        "art_beendigung": _choice_converter,
        "abbruch_durch": _choice_converter,
        "gruende_abbruch": _choice_converter,
        "gruende_sonstiges_nennung_4": _text_converter,
        "vermittlung": _choice_converter,
        "vermittlung_nennung": _text_converter,
        "veraenderungen_rechtskreis": _choice_converter,
        "allgemein_bildender_schulabschluss": _choice_converter,
        "allgemein_bildender_schulabschluss_sonstiges_nennung": _text_converter,
        "massnahmeabschluss": _choice_converter,
        "schulart": _choice_converter,
        "schule_sonstiges_nennung": _text_converter,
        "klassenstufe_1": _int_converter,
        "ausbildung": _choice_converter,
        "ausbildung_sonstiges_nennung": _text_converter,
        "umschulung": _choice_converter,
        "umschulung_nennung": _text_converter,
        "arbeitstaetigkeit": _text_converter,
        "erwerbstatus": _choice_converter,
        "erwerbsstatus_sonstiges_nennung": _text_converter,
        "beschaeftigungsumfang": _choice_converter,
        "kategorien_nichterwerbsarbeit_nichtausbildung": _choice_converter,
        "kategorien_sonstiges_nennung": _text_converter,
        "zeitraum_nachbetreuung": _choice_converter,
        "verbleib_nachbetreuung": _choice_converter,
        "mitgliedschaft_organisationen_vereinen": _choice_converter,
        "intensitaet_mitgliedschaft": _choice_converter,
        "nutzung_kulturangeboten": _choice_converter,
        "haeufigkeit": _choice_converter,
        "soziales_engagement": _text_converter,
        "unternehmungen_freunden": _choice_converter,
        "unternehmungen_familie": _choice_converter,
        "peergroup": _choice_converter,
        "familie_1": _choice_converter,
        "beziehung": _choice_converter,
        "arbeit_schule": _choice_converter,
        "bester_freund_freundin": _choice_converter,
        "einschaetzung_zielerreichung": _choice_converter,
        "erreichte_qualifikation": _choice_converter,
        "integration_ist_nachhaltig": _choice_converter,
        "selbststaendige_berufswegplanung": _choice_converter,
        "eigenstaendige_lebensgestaltung": _choice_converter,
        "soziale_bezugssysteme": _choice_converter,
        "teilnahme_gesellschaftliches_leben": _choice_converter,
        "freie_dokumentation_abschlussbewertung": _text_converter
    },
    'kompetenzfestellung': {
        "verfahren_kompetenzfeststellung": _choice_converter,
        "externeranbieter": _text_converter,
        "assessment_center": _bool_converter,
        "interview": _bool_converter,
        "biografieorientierte_methoden": _bool_converter,
        "selbsttest_selbstbeurteilung": _bool_converter,
        "sonstiges_2": _bool_converter,
        "artdesverfahrens_nennung_sonstiges": _text_converter,
        "testverfahren": _bool_converter,
        "intelligenztest": _bool_converter,
        "intelligenztest_nennung": _text_converter,
        "schultest": _bool_converter,
        "schultest_nennung": _text_converter,
        "leistungstest": _bool_converter,
        "leistungstest_nennung": _text_converter,
        "persoenlichkeitstest": _bool_converter,
        "persoenlichkeitstest_nennung": _text_converter,
        "einstellungs_interessentest": _bool_converter,
        "einstellungs_interessentest_nennung": _text_converter,
        "dauer_des_verfahrens": _choice_converter,
        "rechenfaehigkeit": _choice_converter,
        "raeumliches_vorstellungsvermoegen": _choice_converter,
        "grundverstaendnis_naturwissenschaftlicher_zusammenhaenge": _choice_converter,
        "logisches_denken": _choice_converter,
        "wirtschaftliche_grundkenntnisse": _choice_converter,
        "allgemeine_pc_kenntnisse": _choice_converter,
        "spezielle_pc_kenntnisse_grafikbearbeitung_musikbearbeitung": _choice_converter,
        "internet_anwendungen_und_e_mail_kenntnisse": _choice_converter,
        "andere_medien": _choice_converter,
        "hand_fingergeschick": _choice_converter,
        "formauffassung": _choice_converter,
        "umgang_maschinen_werkzeugen": _choice_converter,
        "gestalterische_fantasie": _choice_converter,
        "methoden_der_informationsgewinnung": _choice_converter,
        "methoden_der_informationsverarbeitung": _choice_converter,
        "einsatz_lern_und_arbeitstechniken": _choice_converter,
        "problemloesungsorientierung": _choice_converter,
        "texte_lesen_und_verstehen": _choice_converter,
        "texte_schreiben_und_formulieren": _choice_converter,
        "deutsche_sprache": _choice_converter,
        "sprache1": _choice_converter,
        "sprache1_sonstige_nennung": _text_converter,
        "beherrschung_sprache1": _choice_converter,
        "sprache2": _choice_converter,
        "sprache2_sonstige_nennung": _text_converter,
        "beherrschung_sprache2": _choice_converter,
        "sprache3": _choice_converter,
        "sprache3_sonstige_nennung": _text_converter,
        "beherrschung_sprache3": _choice_converter,
        "kommunikationsfaehigkeit": _choice_converter,
        "kritikfaehigkeit": _choice_converter,
        "konfliktfaehigkeit": _choice_converter,
        "kreativitaet": _choice_converter,
        "team_und_kooperationsfaehigkeit": _choice_converter,
        "solidarisches_verhalten": _choice_converter,
        "selbstaendiges_lernen_arbeiten": _choice_converter,
        "selbstreflexion_selbsteinschaetzung": _choice_converter,
        "verantwortungsuebernahme": _choice_converter,
        "zielorientierung": _choice_converter,
        "zuverlaessigkeit": _choice_converter,
        "altersgerechter_entwicklungsstand": _choice_converter,
        "gesundheitliche_voraussetzungen": _choice_converter,
        "konzentration": _choice_converter,
        "ausdauer": _choice_converter,
        "durchhaltevermoegen": _choice_converter,
        "merkfaehigkeit": _choice_converter,
        "bearbeitungsgeschwindigkeit": _choice_converter,
        "befaehigung_zu_daueraufmerksamkeit": _choice_converter,
        "leistungsbereitschaft": _choice_converter,
        "sorgfalt": _choice_converter,
        "umgangsformen": _choice_converter,
        "dokumentation_kompetenzfeststellung": _text_converter
    },
    'angebote_bildenden_bereich': {
        "angebotsform": _choice_converter,
        "art_der_unterstuetzung": _text_converter,
        "durchfuehrende_institution": _text_converter,
        "unterstuetzung_start": _date_converter,
        "unterstuetzung_ende": _date_converter,
        "zeitlicher_umfang_unterstuetzung": _int_converter,
        "beendigung_1": _choice_converter,
        "beendigung_durch": _choice_converter,
        "gruende_vorzeitige_beendigung": _choice_converter,
        "gruende_sonstiges_nennung": _text_converter,
        "nachweis_bescheinigung": _choice_converter,
        "sonstiges_nachweis_bescheinigung": _text_converter
    },
    'angebote_berufsvorbereitung': {
        "angebotsform_1": _choice_converter,
        "art_der_unterstuetzung_1": _choice_converter,
        "unterstuetzung_sonstiges_nennung": _text_converter,
        "durchfuehrende_institution_1": _text_converter,
        "unterstuetzung_start_1": _date_converter,
        "unterstuetzung_ende_1": _date_converter,
        "zeitlicher_umfang_unterstuetzung_1": _int_converter,
        "beendigung_2": _choice_converter,
        "beendigung_durch_1": _choice_converter,
        "gruende_vorzeitige_beendigung_1": _choice_converter,
        "gruende_sonstiges_nennung_1": _text_converter,
        "nachweis_bescheinigung_1": _choice_converter,
        "sonstiges_nachweis_bescheinigung_1": _text_converter
    },
    'angebote_berufliche_qualifizierung': {
        "angebotsform_2": _choice_converter,
        "angebote_im_bereich": _choice_converter,
        "unterstuetzung_sonstiges_nennung_1": _text_converter,
        "durchfuehrende_institution_2": _text_converter,
        "unterstuetzung_start_2": _date_converter,
        "unterstuetzung_ende_2": _date_converter,
        "zeitlicher_umfang_unterstuetzung_2": _int_converter,
        "beendigung_3": _choice_converter,
        "beendigung_durch_2": _choice_converter,
        "gruende_vorzeitige_beendigung_2": _choice_converter,
        "gruende_sonstiges_nennung_2": _text_converter,
        "nachweis_bescheinigung_2": _choice_converter,
        "sonstiges_nachweis_bescheinigung_2": _text_converter
    },
    'angebote_lebensbewaeltigung': {
        "angebotsform_3": _choice_converter,
        "unterstuetzung_angebotsform_sonstiges_nennung": _text_converter,
        "art_der_unterstuetzung_2": _choice_converter,
        "unterstuetzung_sonstiges_nennung_2": _text_converter,
        "durchfuehrende_institution_3": _text_converter,
        "unterstuetzung_start_3": _date_converter,
        "unterstuetzung_ende_3": _date_converter,
        "zeitlicher_umfang_unterstuetzung_3": _int_converter,
        "beendigung_4": _choice_converter,
        "beendigung_durch_3": _choice_converter,
        "gruende_vorzeitige_beendigung_3": _choice_converter,
        "gruende_sonstiges_nennung_3": _text_converter,
        "nachweis_bescheinigung_3": _choice_converter,
        "sonstiges_nachweis_bescheinigung_3": _text_converter
    }
}

CREATE_FUNCTIONS = {
    'kompetenzfestellung':                'create_rg_kompetenz_ds',
    'angebote_bildenden_bereich':         'create_rg_bilden_ds',
    'angebote_berufsvorbereitung':        'create_rg_beruf_ds',
    'angebote_berufliche_qualifizierung': 'create_rg_quali_ds',
    'angebote_lebensbewaeltigung':        'create_rg_leben_ds'
}

EXPECT_CASES    = 0
EXPECT_CASE     = 1
EXPECT_RELATION = 2
EXPECT_FIELD    = 3
EXPECT_CHARS    = 4

SQL_UPATE = """UPDATE %s_tbl_view SET %s WHERE uuid_id = %%(uuid_id)s"""

SQL_GET_MASTER_ID = \
"""SELECT get_masterid_from_uuid(%(relation_name)s, %(uuid)s)"""

SQL_CREATE_MASTER_DS = \
"""SELECT create_master_ds(%(uuid)s)"""

SQL_SELECT_UUID_FROM_RELATION = \
"""SELECT uuid_id FROM %s_tbl_view WHERE id = %%(id)s"""

SQL_CREATE_REPEAT_GROUP = \
"""SELECT %s(%%(master_id)s,  %%(uuid)s)"""

def get_id_from_uuid(cur, relation_name, uuid):
    cur.execute(SQL_GET_MASTER_ID, {
        'relation_name': relation_name, 'uuid': uuid })
    row = cur.next()
    if not row: return None
    return row[0]

def create_master(cur, uuid=None):
    cur.execute(SQL_CREATE_MASTER_DS, { 'uuid': uuid })
    row = cur.next()
    if not row: return None
    return row[0]

def create_repeat_group(cur, relation_name, master_id, uuid=None):
    relation_name = CREATE_FUNCTIONS.get(relation_name)
    if relation_name is None: return None
    sql = SQL_CREATE_REPEAT_GROUP % relation_name
    cur.execute(sql, { 'master_id':  master_id, 'uuid': uuid })
    row = cur.next()
    if not row: return None
    return row[0]

def get_uuid(cur, relation_name, ds_id):
    sql = SQL_SELECT_UUID_FROM_RELATION % relation_name 
    cur.execute(sql, { 'id': ds_id })
    row = cur.next()
    if not row: return None
    return row[0]

class Case:
    def __init__(self):
        self.relations = []

    def append(self, relation):
        self.relations.append(relation)

    def find_relations(self, relation_name):
        return [relation for relation in self.relations
            if relation.name == relation_name]

class Relation:

    def __init__(self, name, items):
        self.name    = name
        self.items   = items
        self.uuid    = None
        self.fields  = []
        self.already = False

    def append(self, field):
        self.fields.append(field)

    def find_field(self, field_name):
        for k, v in self.fields:
            if k == field_name:
                return v
        return None

    def update(self, cur):
        sets = []
        values = {}
        for k, v in self.fields:
            sets.append("%s = %%(%s)s" % (k, k))
            values[k] = v

        values['uuid_id'] = self.uuid

        sql = SQL_UPATE % (self.name, ", ".join(sets))
        cur.execute(sql, values)


class XMLHandler(DefaultHandler):

    def __init__(self, case_store):
        DefaultHandler.__init__(self)
        self.mode       = EXPECT_CASES
        self.ignore     = 0
        self.relation   = None
        self.chars      = None
        self.case_store = case_store
        self.case       = None

    def startElement(self, name, attrs):
        if self.mode == EXPECT_CASES:
            if name != "cases":
                print >> sys.stderr, "ignore %s" % name
                self.ignore += 1
            else:
                self.mode = EXPECT_CASE

        elif self.mode == EXPECT_CASE:
            if name != "case":
                print >> sys.stderr, "ignore %s" % name
                self.ignore += 1
            else:
                self.case = Case()
                self.mode = EXPECT_RELATION

        elif self.mode == EXPECT_RELATION:
            rel = RELATIONS.get(name)
            if rel is None:
                print >> sys.stderr, "relation '%s' not found" % name
                self.ignore += 1
            else:
                #print >> sys.stderr, "relation '%s' found" % name
                self.relation = Relation(name, rel)
                self.mode = EXPECT_FIELD

        elif self.mode == EXPECT_FIELD:
            self.mode = EXPECT_CHARS
            self.chars = ""

        elif self.mode == EXPECT_CHARS:
            self.ignore += 1

    def endElement(self, name):
        if self.ignore > 0:
            self.ignore -= 1
            return

        if self.mode == EXPECT_CHARS:
            if name != "uuid_id":
                converter = self.relation.items.get(name)
                if converter is None:
                    print >> sys.stderr, "missing converter for %s" % name
                else:
                    if not self.chars:
                        self.relation.append((name, None))
                    else:
                        #print >> sys.stderr, "convert %s" % name
                        self.relation.append((name, converter(self.chars)))
            else:
                self.relation.uuid = self.chars.strip()
                #print >> sys.stderr, "uuid: %s" % self.relation.uuid

            self.mode = EXPECT_FIELD
            self.chars = None

        if self.mode == EXPECT_FIELD:
            if self.relation and self.relation.name == name:
                self.case.append(self.relation)
                self.relation = None
                self.mode     = EXPECT_RELATION
            else:
                pass

        elif self.mode == EXPECT_RELATION:
            if name == "case":
                self.case_store.store(self.case)
                self.case = None
                self.mode = EXPECT_CASE

        elif self.mode == EXPECT_CASE:
            if name == "cases":
                self.mode = EXPECT_CASES

    def characters(self, content):
        if self.mode == EXPECT_CHARS:
            self.chars += content

class CaseStore:

    def __init__(self, con, cur, fkz):
        self.con = con
        self.cur = cur
        self.fkz = fkz

    def store(self, case):
        success = False

        master_new    = False
        kompetenz_new = 0
        master_id     = None

        try:
            for relation in case.relations:
                if relation.already:
                    # do not process a already processed one
                    # this may happen if a master relation
                    # is behind the repeat groups
                    continue
                relation.already = True

                uuid = relation.find_field('uuid')
                if uuid is None:
                    # has no UUID -> new entry
                    if relation.name == 'master':
                        # force in fkz
                        if self.fkz: relation.fields['fkz'] = self.fkz
                        # new master
                        if master_id:
                            # already have a master -> ignore
                            continue
                        uuid = relation.find_field('uuid')
                        if uuid is None:
                            # create new
                            master_id = create_master(cur)
                            master_new = True
                            relation.fields['uuid'] = get_uuid(cur, 'master', master_id)
                        else:
                            # has a uuid, try to fetch id
                            master_id = get_id_from_uuid(cur, 'master', uuid)
                            if master_id is None:
                                # create master with uuid
                                master_id = create_master(cur, uuid)
                                master_new = True
                    else:
                        # its a repeat group
                        # new repeat groups need master id
                        if master_id is None:
                            # no master yet
                            masters = case.find_relations('master')
                            if masters is None:
                                # no masters -> create new
                                master_id = create_master(cur)
                                master_new = True
                                # no need to update the new master
                            else:
                                # have a least one master
                                master = masters[0]
                                uuid = master.find_field('uuid')
                                if uuid is None:
                                    # master needs to be created
                                    master_id = create_master(cur)
                                    master.fields['uuid'] = get_uuid(cur, 'master', master_id)
                                    master_new = True
                                else:
                                    # have uuid try to find it
                                    master_id = get_id_from_uuid(cur, 'master', uuid)
                                    if master_id is None:
                                        # -> create new
                                        master_id = create_master(cur, uuid)
                                        master_new = True
                                # update the master
                                master.update(cur)
                                master.already = True # mark as already processed
                        # now we have a master
                        uuid = relation.find_field('uuid')
                        if uuid is None:
                            # need to create new repeat group
                            relation_id = create_repeat_group(cur, relation.name, master_id, uuid)
                        else:
                            # have uuid for repeat group, try to fetch id
                            relation_id = get_id_from_uuid(cur, relation.name, uuid)
                            if relation_id is None:
                                # create new one
                                relation_id = create_repeat_group(cur, relation.name, master_id, uuid)
                                uuid = get_uuid(cur, relation.name, relation_id)
                                relation.fields['uuid'] = uuid
                                if relation.name == 'kompetenzfeststellung': kompetenz_new += 1
                relation.update(cur)

            if master_new and kompetenz_new == 0:
                # create at least one kompetenzfeststellung if there is a new master
                create_repeat_group(cur, 'kompetenzfeststellung', master_id)

            success = True
            self.con.commit()

        finally:
            if not success:
                self.con.rollback()

def main():
    try:
        opts, args = getopt.getopt(sys.argv[1:], "d:p:h:u:f:w:", (
            "database=",
            "port=",
            "host=",
            "user=",
            "fkz=",
            "password="))
    except getopt.GetoptError, err:
        sys.stderr.write("error: %s\n" % str(err))
        sys.exit(1)

    DBNAME   = "ka_inte00002_db"
    HOST     = "localhost"
    PORT     = 5432
    USER     = "postgres"
    FKZ      = None
    PASSWORD = ""

    for o, a in opts:
        if   o in ("d", "-d", "--database"):
            DBNAME = a
        elif o in ("p", "-p", "--port"):
            PORT = int(a)
        elif o in ("h", "-h", "--host"):
            HOST = a
        elif o in ("u", "-u", "--user"):
            USER = a
        elif o in ("f", "-f", "--fkz"):
            FKZ = a
        elif o in ("w", "-w", "--password"):
            PASSWORD = a

    con, cur = None, None
    try:
        con = dbapi.connect(
            database = DBNAME, 
            port     = PORT, 
            host     = HOST,
            user     = USER,
            password = PASSWORD)

        cur = con.cursor()
        case_store = CaseStore(con, cur, FKZ)

        handler = XMLHandler(case_store) 
        parse(sys.stdin, handler)
    finally:
        if cur:
            try: cur.close()
            except: pass
        if con:
            try: con.close()
            except: pass

if __name__ == '__main__':
    main()

# vim:set ts=4 sw=4 si et sta sts=4: