Abfragen über Text-Tabellen zu komplex

[Mr.Bobo]

Hallo,

heute habe ich mal eine Frage und hoffe eine Lösung, Tipp oder Erklärung hier zu finden bzw. zu bekommen.

Folgendes Problem: Ich benutze immer öfter Text-Dateien (mit irgend einem Trennzeichen) als Datenbanktabellen bzw. als Datenbankquellen ohne die Daten in irgend eine ...SQL Datenbank zu importieren. Diese Funktion kennen bestimmt ganz viele hier. Das funktioniert auch einwandfrei!

Das Problem ist aber, das einfache SELECT * FROM <Tabelle> reichen mir nicht aus. Ich benötige etwas komplexere Abfragen oder auch Abfragen über mehrere Tabelle (z. Bsp. mit INNER JOIN) und an dieser Stelle komme ich einfach nicht weiter. Base bringt mir immer die Meldung, dass die Abfrage zu komplex wäre.

Das Kopieren der „Text“ Tabellen in eine HSQLDB oder auch das Einlesen in eine MySQL Datenbank habe ich auch schon ausprobiert. Das funktioniert zwar aber ist mit einem großen Aufwand verbunden. Meine „Text“ Tabellen mit bis zu 2,5 Mio. Datensätze und weit über 100 Felder (Spalten) sind relativ groß und so eine Tabelle in HSQLDB zu kopieren oder auch in MySQL eine zu erstelle und dann mit LOAD DATA INFILE ... einzulesen kostet viel Zeit und Aufwand. Ich habe auch schon mit dem MySQL Connector versucht die „Text“ Tabelle in eine MySQL Datenbank zu kopieren, das geht aber nicht.

So, und nun die Frage. Hat jemand vielleicht das gleiche Problem oder vielleicht sogar eine Lösung? Aber auch für Ihre Ideen, Vorschläge oder auch einfache Tipps bedanke ich mich schon im Voraus!

[pmoegenb]

Bei bis zum 2,5 Millionen Datensätze wirst Du wohl um eine SQL-Datenbank nicht herumkommen.

[Mr.Bobo]

... ok, es sind nicht immer so große Tabellen. Im Durchschnitt handelt es sich um Tabellen mit ein paar hunderttausend Sätzen. Aber es kommt auch vor das eine Tabelle 2,5 Mio. Sätze hat. Damit wollte ich nur sagen, dass das Kopieren in HSQLDB oder auch einlesen in MySQL umständlich und aufwendig ist. Natürlich wenn es KEINE Möglichkeit gibt komplexere Abfragen direkt über die Text-Tabellen auszuführen, bleibt mir nichts anderes übrig als die Daten erst in ...SQL Datenbanktabellen einzulesen.

Danke für deine ehrliche Antwort. Vielleicht hat jemand noch eine Idee?

[Mr.Bobo]

Hallo,
und für alle die das gleiche Problem haben hier eine Lösung. Okay, komplexere Abfrage über eine oder mehrere Text-Datenquellen sind so wie es aussieht unter OpenOffice.org leider nicht möglich.

Aber ich habe jetzt noch mal mit dem MySQL Connector versucht und es geht tatsächlich!!! Man kann die Text-Datenquellen aus einer Base Datenbank über den MySQL Connector in eine MySQL Datenbank als neue Datenbanktabelle kopieren! Einfach der Drag&Drop! Mein Fehler war, dass nach dem ich die Tabelle in das Fenster des MySQL Servers gezogen habe im aufgegangenen Pop-up Fenster nur den Name der neu anzulegenden Tabelle angegeben habe. So funktioniert das nicht. Wenn man aber die Angabe mit der Zieldatenbank vervollständigt z. Bsp. <Datenbank>.<Tabellenname> funktioniert das Kopieren einer Base-, oder auch Text-, oder auch sonst welcher Tabelle in eine MySQL Datenbank über den Connector einwandfrei!

Super! Allen ein schönes Wochenende und ich werde heute mein Bier auf die Gesundheit der Programmierer trinken, bis ich nicht mehr kann!