Tobias.Beissmann@egoproducts.com, screenshot-1.png ist eine Schritt in eine Richtung wo wir etwas ausführen könnten. Wir würden jedoch Text statt Bilder bevorzugen. Und das dort enthaltene Beispiel weicht wesentlich von Ihrem ursprünglichen CREATE TABLE ab, indem weder KEY noch WHERE vorhanden sind.

"Using index condition" soll nur möglich sein, wenn ein Index angewendet wird (wie KEY(START) und WHERE START… in der ursprünglichen Tabelle).

Ich hoffe, dass ich mich verständlich gemacht habe. Deutsch ist meine dritte Fremdsprache.

Ich habe den Benchmark Test von der MariaDB Seite (https://mariadb.com/kb/en/benchmarking-aria/) ausgeführt, weil ich dachte man kann hier etwas feststellen, woran das Problem liegt.

Ich habe noch mehrere Einstellungen an der my.ini vorgenommen, jedoch hat keine Änderung die Bandbreite erhöht, so dass ich mehr Daten übertragen kann.

Ich habe die qs_master Tabelle in InnoDB geändert und die Geschwindigkeit beim Auslesen, hat sich nicht verändert. ~9k Datensätze / Zyklus zu PowerBi

Wenn der Server nicht vom Disk liest (die Daten alle im Innodb Bufferpool), wäre es schon ein Erfolg.
Wie groß dabei innodb-buffer-pool-size sein soll ist die frage, und es ist sicherlich mehr als .ibd file. 1.5x der 2x mehr sollte langen. Falls vom Disk nicht mehr gelesen wird (was sogar im task manager angezeigt wird), ist der Server vorerst optimiert.

Sonst kann es natürlich liegt es auch an dem Klienten, wie schnell die daten rausgelesen werden, und an der menge der rausgelesenen Daten. Es kann sein, daß ODBC, oder welche Klienttechnologie auch immer sich unter diesem PowerBI verbirgt, das diese Komponente am Ende die Applikation ausbremst.

Hallo,
ich habe mittlerweile alle Tabellen auf InnoDB umgestellt, jedoch komme ich nicht über 4k-9k Datensätze/Zyklus.
Aktuelle my.ini

[mysqld]
port=3306
datadir=E:/data
tmpdir=E:/tmp

innodb_log_file_size=80M
innodb_file_per_table=1
innodb_buffer_pool_size=24G
join_buffer_size=1M
net_buffer_length=16M
innodb_io_capacity=1000
key_buffer_size=10M
thread_handling=pool-of-threads
skip-name-resolve

Tobias.Beissmann@egoproducts.com, es tut mir leid, ich hatte Ihre Antwort übersehen. Der Parameter innodb_log_file_size=80M ist sehr gering im Vergleich zu innodb_buffer_pool_size=24G. Ich habe eine Empfehlung gesehen, dass die Pufferpool-Größe etwa 60% bis 80% des Hauptspeichers betragen sollte, je nach dem, was für andere Puffer für die Arbeitslast nötig sind, oder was für andere Dienste auf dem System laufen.

Wenn es um die Log-Größe geht, habe ich eine Empfehlung gelesen, dass die Größe etwa dem Wachstum von LSN in einer Stunde entsprechen sollte. Eine zu kleine Logdatei wird häufige Log-Checkpoints und dadurch Schreiben der veränderten Datenseiten verursachen. So weit ich verstehe, ist die Log-Größe von Aria nicht begrenzt: neue Dateien können beim Bedarf angelegt werden. In InnoDB wird die Logdatei zyklisch beschrieben.

Vor MDEV-21351, MDEV-29911 und anderen Verbesserungen könnte ein Neustart der Datenbank nach einem Crash wegen Speichermangel fehlschlagen oder sehr langsam sein, bei einem großen innodb_log_file_size.

In MariaDB Server 10.6 wurde die Leistungsfähigkeit von InnoDB weiter verbessert.