[MDEV-12354] MariaDB CONNECT CSV (Zipped Tables) Created: 2017-03-24 Updated: 2017-05-22 Resolved: 2017-05-11 |
|
| Status: | Closed |
| Project: | MariaDB Server |
| Component/s: | Storage Engine - Connect |
| Affects Version/s: | 10.1.22 |
| Fix Version/s: | 10.1.24, 10.0.31, 10.2.6, 10.3.1 |
| Type: | Bug | Priority: | Critical |
| Reporter: | Juan Telleria | Assignee: | Olivier Bertrand |
| Resolution: | Fixed | Votes: | 0 |
| Labels: | None | ||
| Environment: |
Windows |
||
| Attachments: |
|
||||||||
| Issue Links: |
|
||||||||
| Description |
|
When using MULTIPLE=1 for importing 566 CSV Zipped Files, of 1000 rows each one, my Server ShutsDown. My CREATE TABLE is as follows:
In the same folder. For 1 single CSV ZIP file, same format (MULTIPLE=NO) works perfect. ERROR LOG Trying to get some variables. Optimizer switch: index_merge=on,index_merge_union=on,index_merge_sort_union=on,index_merge_intersection=on,index_merge_sort_intersection=off,engine_condition_pushdown=off,index_condition_pushdown=on,derived_merge=on,derived_with_keys=on,firstmatch=on,loosescan=on,materialization=on,in_to_exists=on,semijoin=on,partial_match_rowid_merge=on,partial_match_table_scan=on,subquery_cache=on,mrr=off,mrr_cost_based=off,mrr_sort_keys=off,outer_join_with_cache=on,semijoin_with_cache=on,join_cache_incremental=on,join_cache_hashed=on,join_cache_bka=on,optimize_join_buffer_size=off,table_elimination=on,extended_keys=on,exists_to_in=on,orderby_uses_equalities=off |
| Comments |
| Comment by Olivier Bertrand [ 2017-05-08 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
There has been many changes in CONNECT since this. Do you have still this problem? | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Juan Telleria [ 2017-05-09 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
I obtained this error by using Connect Version 1.05.0003, with mariaDB 10.1.22 I have not been able to test the new version of connect, as it was not included with MariaDB 10.1.23 distribution, as long as I know. However, I obtained this error by using the test files I attached you in | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Olivier Bertrand [ 2017-05-09 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
This query returns a result set of 996873 rows! Fortunately I have a GUI client program allowing to execute a query without displaying the result set. With it, I could successfully execute this query responding:
The warnings are:
with x ranging from 1 to 32. I was also able to execute the query:
returning:
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Juan Telleria [ 2017-05-09 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
It seems that the bug has been fixed. Thank you Really looking forward to try the new "CONNECT CSV Zipped File Table" Engine! | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Olivier Bertrand [ 2017-05-09 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Juan Telleria [ 2017-05-09 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Works perfectly! | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Juan Telleria [ 2017-05-11 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
For final check, what about:
¿This shall throw an error because no table definition and using Multiple = 1 or Multiple = 3? ¿When will it be available new CONNECT Version? | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Olivier Bertrand [ 2017-05-11 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
I don't think so. You are creating a InnoDB (or MyISAM) table with standard MySQL syntax (column definitions come from the selected table) and multiple applies to tell, not MyTable. When will it be available new CONNECT Version | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Juan Telleria [ 2017-05-11 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
ok. Thank you | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Comment by Juan Telleria [ 2017-05-22 ] | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Does Multiple = 3 (For subfolders) already work for the actual version of CONNECT? The currently Generally Available distribution of CONNECT (Connect 1.05.0003) does still not support this feature. Thank you. Looking forward for MariaDB 10.2.6 |