Ständig Absturz

[nick_berlin]

Hallo zusammen,

ich habe hier diverse "größere" Dateien - im "txt" Format - die mir ständig abstürzen.

Die Dateien beinhalten jeweils lediglich 7 Spalten, aber rd 500.000 Zeilen. Zwei neue Spalten mit kleineren Formeln möchte ich hinzufügen.

Egal ob ich nun mit Copy/ Paste arbeite, oder mit einem Doppelklick, Calc stürzt ab oder die Formeln werden zwar unten weiter angezeigt, aber nicht gerechnet. Gerechnet wird bis Zeile 70.000 oder manchmal 100.000 oder 200.000 (immer "krumme Werte).

Ich nutze hier einen Intel Xeon E3-1230 mit 16GB RAM und nutze die aktuelle OO Version und Win7 Home Premium 64-bit

Benutzerverzeichnis habe ich schon geändert ==>> ergebnislos. Keine Veränderung.

Auch wenn ich das Format ändere in "ods" ändert sich nichts am Verhalten von calc.

Weiß nicht mehr weiter.

Danke
Nick

[mikeleb]

Hallo,

die aktuelle OO Version

LibreOffice oder ApacheOpenOffice? Welche Versionnummer genau?
Kannst du uns so eine Datei zu testzwecken zur Verfügung stellen?
Welche Formeln fügst du ein?
In .txt Dateien kannst du nicht rechnen. Also wäre es schon sinnvoll, das ods-Format zu verwenden (auch wenn es erstmal keine Verbesserung zu sein scheint).

[nick_berlin]

Datei kann ich gerne zur Verfügung stellen. Wie mache ist das am Besten?

Das Rechnen dient lediglich einer kleinen Format Änderung der Spalte "Time". So wird die Zeit aktuell dargestellt:

0100. 0715, 100900 soll aber sein

00:01:00, 07:15:00, 10:09:00.

Ein weiterer Grund für das "txt" ist, dass 4 Spalten US Zahlenformate beinhalten, die ich nicht umwandeln möchte.

Nach der Änderung soll es dann wieder im "txt" Format gespeichert werden, da ich mehrere Dateien dieser Art habe und diese dann wieder zusammensetzen möchte.

Ich nutze Apache Open Office 4.1.2 Build 9782

Nick

[Stephan]

Ich nehme an die Datei ist schlicht so groß das Calc massiv ausgebremst wird, was zweierlei Folgen haben kann: entweder Calc stürzt wirklich ab oder Calc rechnet nur sehr lange. Letzteres halte ich für wahrscheinlicher und hielte bei der benannten Datenmenge Rechenzeiten von mehr als 30 Minuten für nicht unwahrscheinlich.
Beleg das Calc nur rechnet wäre (zumindest unter MS Windows) das der Prozess "soffice.bin" im Taskmanager sichtbar CPU-Zeit verbraucht (und höchstwahscheinlich der Speicherverbrauch anwächst oder zumindest schwankt).

Datei kann ich gerne zur Verfügung stellen. Wie mache ist das am Besten?

Indem Du sie irgendwo hochlädst und hier im Forum den Link postest. Wie/Wo Du das machst kann ich Dir bei der zu erwartenden Dateigröße (ich schätze mindestens einige MB, wahrscheinlicher einige zehn MB) nicht sagen. Zum direkten Hochladen über die Forumssoftware ist die Datei auf jeden Fall zu groß.



Gruß
Stephan

[Karolus]

Hallo

Mal abgesehen davon daß `0100` aufgedröselt wird zu `...:minuten:sekunden` ---- `0715` jedoch zu `stunden:minuten:....` ist das extrem ineffizient per Calc.

Mit etwas Kommandozeile (awk,sed,ect) oder einem kleinen Python-script mit maximal 15 Zeilen wären die ersten fünfzig Dateien bereits verarbeitet bevor Calc überhaupt eine davon geöffnet hat.

Karolus

Ps.: zum Hochladen würde auch ein hinreichend representabler Auszug ( z.B die ersten hundert bis zweihundert Zeilen einer der Textdateien reichen )

[nick_berlin]

Danke für Eure Hilfe.

@Karolus
Kenne mich wirklich nur ein wenig mit den OO Programmen aus. Keine Ahnung wo von Du redest - will nur damit sagen, noch nie gemacht.

Hier mal der LINK

https://www.magentacloud.de/lnk/gEB0x4d0

Datei hat 25MB. Habe auch mal einen kleinen screenshot eingefügt, was Calc so rechnet....

Danke
Nick

[Stephan]

ich kann bestätigen das die Datei auch bei mir abstürzt wenn ich die Formeln bearbeite (AOO 4.1.2 und OOo 3.3.0). Mir scheint das ist der Größe der Datei geschuldet, denn wenn ich nur einige Formelzellen kopiere erfolgt kein Absturz.

Warte mal ab was Karolus bezüglich des Scripts als Lösung anbietet, das ist hier ohnehin der sinnvollere Weg - naja, OpenOffice dürfte natürlich nicht abstürzen, aber bei der Datenmenge käme ich eher nicht auf die Idee bei einer Textdatei mit Calc arbeiten zu wollen.


GRuß
Stephan

[nick_berlin]

Vorerst Danke für die Hilfe, Stephan.

Hätte nicht gedacht, dass OO hier schon die Grenzen aufzeigt. Habe ja lediglich nur die Hälfte der angebotenen Zeilen genutzt, vorrangig Zahlen/ Text und trotzdem...

Ich bin ja schon froh, dass ich einigermaßen mit OO arbeiten kann. Und jetzt auch noch irgend welche scripte

Ich wüßte ja noch nicht einmal, wie und wo ich die "anschmeiße" kann.

Nick

[Karolus]

Hallo

Für das Script bräucte ich einen Auszug von ca. 100 zeilen aus der Original-text-datei.
( am besten per copy&paste aus einem Texteditor (notepad,...))

und hier eingefügt zwischen

Code: Alles auswählen

[code]

-tags[/code]

@nick:
dein Betriebssystem?
deine AOO|LO -version?

[nick_berlin]

Hallo Karolus,

Ich nutze Apache Open Office 4.1.2 Build 9782 und Win7 Home Premium 64-bit SP1

Die ersten 6 Spalten ist die Originaldatei
Die nachfolgenden Spalten nach Überarbeitung

Angepasst wurden lediglich: Spalte 1 (Date) + 2 (Time)

Bei Spalte 2 (Time) ist noch eine Besonderheit
Bei jeder Zeile wurde 1 Minute abgezogen, so dass der Tag beginnt mit 00:00:00

Leider muss die Zeit immer von der Spalte 2 genommen werden, da nicht immer gewährleistet ist, dass chronologisch jede einzelne Minute des Tages aufgelistet ist.

Ich Danke für Deine Hilfe Karolus.

Nick

Code: Alles auswählen

Date	Time	Open	High	Low	Last		Date	Time	Open	High	Low	Last
20150102	100	2059.00	2059.00	2058.75	2059.00		2015/01/02	00:00:00	2059.00	2059.00	2058.75	2059.00
20150102	200	2059.00	2059.25	2059.00	2059.00		2015/01/02	00:01:00	2059.00	2059.25	2059.00	2059.00
20150102	300	2059.25	2059.25	2059.00	2059.00		2015/01/02	00:02:00	2059.25	2059.25	2059.00	2059.00
20150102	400	2059.25	2059.25	2059.25	2059.25		2015/01/02	00:03:00	2059.25	2059.25	2059.25	2059.25
20150102	500	2059.25	2059.25	2058.75	2058.75		2015/01/02	00:04:00	2059.25	2059.25	2058.75	2058.75
20150102	600	2059.00	2059.00	2058.75	2059.00		2015/01/02	00:05:00	2059.00	2059.00	2058.75	2059.00
20150102	700	2059.00	2059.00	2058.75	2058.75		2015/01/02	00:06:00	2059.00	2059.00	2058.75	2058.75
20150102	800	2058.75	2058.75	2058.50	2058.75		2015/01/02	00:07:00	2058.75	2058.75	2058.50	2058.75
20150102	900	2058.75	2058.75	2058.50	2058.75		2015/01/02	00:08:00	2058.75	2058.75	2058.50	2058.75
20150102	1000	2058.75	2058.75	2058.50	2058.50		2015/01/02	00:09:00	2058.75	2058.75	2058.50	2058.50
20150102	1100	2058.50	2058.50	2058.25	2058.50		2015/01/02	00:10:00	2058.50	2058.50	2058.25	2058.50
20150102	1200	2058.50	2058.50	2058.25	2058.50		2015/01/02	00:11:00	2058.50	2058.50	2058.25	2058.50
20150102	1300	2058.50	2058.50	2058.50	2058.50		2015/01/02	00:12:00	2058.50	2058.50	2058.50	2058.50
20150102	1400	2058.50	2058.50	2058.25	2058.50		2015/01/02	00:13:00	2058.50	2058.50	2058.25	2058.50
20150102	1500	2058.50	2058.50	2058.00	2058.25		2015/01/02	00:14:00	2058.50	2058.50	2058.00	2058.25
20150102	1600	2058.25	2058.25	2058.00	2058.00		2015/01/02	00:15:00	2058.25	2058.25	2058.00	2058.00
20150102	1700	2058.00	2058.25	2057.75	2058.00		2015/01/02	00:16:00	2058.00	2058.25	2057.75	2058.00
20150102	5600	2058.75	2058.75	2058.50	2058.75		2015/01/02	00:55:00	2058.75	2058.75	2058.50	2058.75
20150102	5700	2059.00	2059.00	2058.75	2058.75		2015/01/02	00:56:00	2059.00	2059.00	2058.75	2058.75
20150102	5800	2058.75	2059.00	2058.75	2059.00		2015/01/02	00:57:00	2058.75	2059.00	2058.75	2059.00
20150102	5900	2059.00	2059.00	2059.00	2059.00		2015/01/02	00:58:00	2059.00	2059.00	2059.00	2059.00
20150102	10000	2059.00	2059.00	2058.75	2058.75		2015/01/02	00:59:00	2059.00	2059.00	2058.75	2058.75
20150102	10100	2059.00	2059.25	2058.75	2059.00		2015/01/02	01:00:00	2059.00	2059.25	2058.75	2059.00
20150102	10200	2059.00	2059.25	2059.00	2059.25		2015/01/02	01:01:00	2059.00	2059.25	2059.00	2059.25
20150102	10300	2059.25	2059.25	2059.00	2059.25		2015/01/02	01:02:00	2059.25	2059.25	2059.00	2059.25
20150102	10400	2059.25	2059.25	2059.00	2059.25		2015/01/02	01:03:00	2059.25	2059.25	2059.00	2059.25
20150102	10500	2059.00	2059.25	2059.00	2059.25		2015/01/02	01:04:00	2059.00	2059.25	2059.00	2059.25
20150102	10600	2059.50	2059.50	2059.25	2059.50		2015/01/02	01:05:00	2059.50	2059.50	2059.25	2059.50
20150102	10700	2059.25	2059.50	2059.25	2059.25		2015/01/02	01:06:00	2059.25	2059.50	2059.25	2059.25
20150102	10800	2059.25	2059.50	2059.25	2059.50		2015/01/02	01:07:00	2059.25	2059.50	2059.25	2059.50
20150102	10900	2059.50	2059.50	2059.25	2059.50		2015/01/02	01:08:00	2059.50	2059.50	2059.25	2059.50
20150102	11000	2059.25	2059.50	2059.25	2059.50		2015/01/02	01:09:00	2059.25	2059.50	2059.25	2059.50
20150102	11100	2059.50	2059.50	2059.25	2059.25		2015/01/02	01:10:00	2059.50	2059.50	2059.25	2059.25
20150102	11200	2059.50	2059.50	2059.25	2059.50		2015/01/02	01:11:00	2059.50	2059.50	2059.25	2059.50
20150102	11300	2059.50	2059.75	2059.25	2059.50		2015/01/02	01:12:00	2059.50	2059.75	2059.25	2059.50
20150102	11400	2059.50	2059.75	2059.50	2059.75		2015/01/02	01:13:00	2059.50	2059.75	2059.50	2059.75
20150102	11500	2059.75	2059.75	2059.50	2059.50		2015/01/02	01:14:00	2059.75	2059.75	2059.50	2059.50
20150102	11600	2059.75	2059.75	2059.50	2059.75		2015/01/02	01:15:00	2059.75	2059.75	2059.50	2059.75
20150102	11700	2059.50	2059.75	2059.50	2059.75		2015/01/02	01:16:00	2059.50	2059.75	2059.50	2059.75
20150102	11800	2059.75	2059.75	2059.50	2059.75		2015/01/02	01:17:00	2059.75	2059.75	2059.50	2059.75
20150102	104900	2060.75	2061.00	2060.75	2061.00		2015/01/02	10:48:00	2060.75	2061.00	2060.75	2061.00
20150102	105000	2061.00	2061.00	2060.50	2060.75		2015/01/02	10:49:00	2061.00	2061.00	2060.50	2060.75
20150102	105100	2060.75	2061.00	2060.75	2060.75		2015/01/02	10:50:00	2060.75	2061.00	2060.75	2060.75
20150104	230400	2043.00	2043.50	2043.00	2043.25		2015/01/04	23:03:00	2043.00	2043.50	2043.00	2043.25
20150104	230500	2043.25	2044.00	2043.25	2044.00		2015/01/04	23:04:00	2043.25	2044.00	2043.25	2044.00
20150104	230600	2043.75	2044.00	2043.25	2043.50		2015/01/04	23:05:00	2043.75	2044.00	2043.25	2043.50
20150104	230700	2043.50	2043.50	2043.25	2043.50		2015/01/04	23:06:00	2043.50	2043.50	2043.25	2043.50
20150104	230800	2043.50	2043.50	2042.75	2043.00		2015/01/04	23:07:00	2043.50	2043.50	2042.75	2043.00
20150104	230900	2043.00	2043.00	2042.25	2042.25		2015/01/04	23:08:00	2043.00	2043.00	2042.25	2042.25
20150104	231000	2042.25	2042.25	2041.50	2042.00		2015/01/04	23:09:00	2042.25	2042.25	2041.50	2042.00
20150104	231100	2042.00	2042.50	2042.00	2042.25		2015/01/04	23:10:00	2042.00	2042.50	2042.00	2042.25
20150104	231200	2042.50	2042.50	2042.25	2042.50		2015/01/04	23:11:00	2042.50	2042.50	2042.25	2042.50
20150104	231300	2042.25	2042.25	2041.50	2041.50		2015/01/04	23:12:00	2042.25	2042.25	2041.50	2041.50
20150104	231400	2041.75	2041.75	2040.50	2040.75		2015/01/04	23:13:00	2041.75	2041.75	2040.50	2040.75
20150104	231500	2040.75	2041.00	2040.25	2040.25		2015/01/04	23:14:00	2040.75	2041.00	2040.25	2040.25
20150104	231600	2040.50	2040.50	2039.50	2039.75		2015/01/04	23:15:00	2040.50	2040.50	2039.50	2039.75
20150104	231700	2039.75	2040.75	2039.75	2040.50		2015/01/04	23:16:00	2039.75	2040.75	2039.75	2040.50
20150104	231800	2040.25	2040.50	2040.25	2040.25		2015/01/04	23:17:00	2040.25	2040.50	2040.25	2040.25
20150104	231900	2040.25	2040.75	2040.00	2040.75		2015/01/04	23:18:00	2040.25	2040.75	2040.00	2040.75
20150104	232000	2040.50	2041.00	2040.50	2040.75		2015/01/04	23:19:00	2040.50	2041.00	2040.50	2040.75
20150104	232100	2040.50	2041.25	2040.50	2041.25		2015/01/04	23:20:00	2040.50	2041.25	2040.50	2041.25
20150104	232200	2041.25	2041.25	2039.75	2039.75		2015/01/04	23:21:00	2041.25	2041.25	2039.75	2039.75
20150104	232300	2039.75	2040.00	2039.25	2039.75		2015/01/04	23:22:00	2039.75	2040.00	2039.25	2039.75
20150104	232400	2039.50	2040.00	2039.50	2039.75		2015/01/04	23:23:00	2039.50	2040.00	2039.50	2039.75
20150104	232500	2039.75	2040.00	2039.25	2039.50		2015/01/04	23:24:00	2039.75	2040.00	2039.25	2039.50
20150104	235400	2040.75	2040.75	2040.00	2040.00		2015/01/04	23:53:00	2040.75	2040.75	2040.00	2040.00
20150104	235500	2040.00	2040.25	2040.00	2040.25		2015/01/04	23:54:00	2040.00	2040.25	2040.00	2040.25
20150104	235600	2040.25	2040.25	2039.75	2039.75		2015/01/04	23:55:00	2040.25	2040.25	2039.75	2039.75
20150104	235700	2039.75	2040.00	2039.00	2039.50		2015/01/04	23:56:00	2039.75	2040.00	2039.00	2039.50
20150104	235800	2039.25	2040.00	2039.25	2039.75		2015/01/04	23:57:00	2039.25	2040.00	2039.25	2039.75
20150104	235900	2039.75	2040.50	2039.75	2040.25		2015/01/04	23:58:00	2039.75	2040.50	2039.75	2040.25

[Stephan]

Die ersten 6 Spalten ist die Originaldatei

Du bist Dir sicher das in der Original-Textdatei drei aufeinanderfolgende Leerzeichen als Feldtrenner genutzt werden?


Gruß
Stephan

[nick_berlin]

Habe die Originaldatei mit einem Editor geöffnet und das ist das Ergebnis:

Code: Alles auswählen

Date;Time;Open;High;Low;Last
20150102;100;2059.00;2059.00;2058.75;2059.00
20150102;200;2059.00;2059.25;2059.00;2059.00
20150102;300;2059.25;2059.25;2059.00;2059.00
20150102;400;2059.25;2059.25;2059.25;2059.25
20150102;500;2059.25;2059.25;2058.75;2058.75
20150102;600;2059.00;2059.00;2058.75;2059.00
20150102;700;2059.00;2059.00;2058.75;2058.75
20150102;800;2058.75;2058.75;2058.50;2058.75
20150102;900;2058.75;2058.75;2058.50;2058.75
20150102;1000;2058.75;2058.75;2058.50;2058.50
20150102;1100;2058.50;2058.50;2058.25;2058.50
20150102;1200;2058.50;2058.50;2058.25;2058.50
20150102;1300;2058.50;2058.50;2058.50;2058.50
20150102;1400;2058.50;2058.50;2058.25;2058.50
20150102;1500;2058.50;2058.50;2058.00;2058.25
20150102;1600;2058.25;2058.25;2058.00;2058.00
20150102;1700;2058.00;2058.25;2057.75;2058.00
20150102;1800;2058.00;2058.00;2057.75;2058.00
20150102;1900;2057.50;2057.75;2057.50;2057.75
20150102;2000;2057.50;2058.00;2057.50;2058.00
20150102;2100;2058.00;2058.25;2058.00;2058.25
20150102;2200;2058.25;2058.25;2058.00;2058.00
20150102;2300;2058.25;2058.50;2058.25;2058.50
20150102;2400;2058.50;2058.50;2058.25;2058.25
20150102;2500;2058.50;2058.50;2058.25;2058.50
20150102;2600;2058.25;2058.50;2058.25;2058.25
20150102;2700;2058.25;2058.25;2058.25;2058.25
20150102;2800;2058.25;2058.25;2058.25;2058.25
20150102;2900;2058.25;2058.50;2058.25;2058.50
20150102;3000;2058.50;2058.50;2058.25;2058.25
20150102;3100;2058.25;2058.50;2058.25;2058.50

Gruß
Nick

[nick_berlin]

Guten Morgen Karolus,

war gestern noch selbst ein wenig tätig und hatte es mit Hilfe eines anderen Programms geschafft, die Daten wunschgemäß zu editieren.

Ein Problem bleibt aber noch. Es ist die "falsche" Uhrzeit. Die Uhrzeit muss je Zeile um 1 Minute zurück gesetzt werden. Könntest Du mir da helfen mit einem kleinen script?

Das Format der Datei würde jetzt so aussehen wie unten gezeigt.

Ich hoffe, Du hast noch nicht angefangen mit dem script für das vorherige Format.

Danke
Nick

Code: Alles auswählen

2005/7/26, 23:06:00, 1234.75, 1235.00, 1234.75, 1235.00
2005/7/26, 23:09:00, 1234.75, 1234.75, 1234.75, 1234.75
2005/7/26, 23:10:00, 1234.75, 1234.75, 1234.75, 1234.75
2005/7/26, 23:17:00, 1234.50, 1234.50, 1234.50, 1234.50
2005/7/26, 23:18:00, 1234.50, 1234.50, 1234.50, 1234.50
2005/7/26, 23:19:00, 1234.50, 1234.50, 1234.50, 1234.50
2005/7/26, 23:20:00, 1234.50, 1234.50, 1234.25, 1234.25
2005/7/26, 23:21:00, 1234.50, 1234.50, 1234.25, 1234.25
2005/7/26, 23:26:00, 1234.25, 1234.25, 1234.25, 1234.25
2005/7/26, 23:27:00, 1234.00, 1234.25, 1234.00, 1234.25
2005/7/26, 23:28:00, 1234.25, 1234.25, 1234.25, 1234.25
2005/7/26, 23:29:00, 1234.00, 1234.25, 1233.75, 1233.75
2005/7/26, 23:30:00, 1234.00, 1234.25, 1233.75, 1233.75
2005/7/27, 00:01:00, 1234.00, 1234.00, 1234.00, 1234.00
2005/7/27, 00:02:00, 1234.00, 1234.00, 1234.00, 1234.00
2005/7/27, 00:03:00, 1234.00, 1234.00, 1234.00, 1234.00
2005/7/27, 00:04:00, 1234.25, 1234.25, 1234.00, 1234.00
2005/7/27, 00:05:00, 1234.00, 1234.00, 1233.75, 1233.75
2005/7/27, 00:06:00, 1234.00, 1234.00, 1234.00, 1234.00
2005/7/27, 00:20:00, 1234.00, 1234.00, 1234.00, 1234.00
2005/7/27, 00:21:00, 1234.00, 1234.00, 1234.00, 1234.00
2005/7/27, 00:22:00, 1234.00, 1234.00, 1234.00, 1234.00
2005/7/27, 00:24:00, 1234.25, 1234.25, 1234.25, 1234.25
2005/7/27, 00:27:00, 1234.00, 1234.00, 1234.00, 1234.00
2005/7/27, 00:28:00, 1234.00, 1234.00, 1234.00, 1234.00
2005/7/27, 00:30:00, 1233.75, 1233.75, 1233.75, 1233.75
2005/7/27, 00:31:00, 1234.00, 1234.00, 1233.75, 1233.75
2005/7/27, 00:32:00, 1234.00, 1234.00, 1234.00, 1234.00
2005/7/27, 00:37:00, 1234.00, 1234.00, 1234.00, 1234.00
2005/7/27, 00:40:00, 1234.00, 1234.00, 1234.00, 1234.00
2005/7/27, 00:42:00, 1234.25, 1234.25, 1234.25, 1234.25
2005/7/27, 00:46:00, 1234.25, 1234.25, 1234.25, 1234.25