Details
-
Bug
-
Status: Closed (View Workflow)
-
Major
-
Resolution: Not a Bug
-
2.5.3
-
None
Description
We have recently switched to the MariaDB Java Client for our Aurora RDS cluster to utilize the read/write balancing. However, we occasionally (roughly once a day) see connection reset errors. We enabled `enablePacketDebug` to see if we can find what is causing this, and it seems to be a transition from write to read only. The following are 3 examples of what was executed according to `enablePacketDebug` before the connection reset errors occurred:
send at -exchange:15913- 2020-03-10T06:45:14.811Z (compressed protocol - packet not compressed)
|
3D 00 00 00 00 00 00 =......
|
39 00 00 00 9...
|
03 53 45 54 20 53 45 53 53 49 4F 4E 20 54 52 41 .SET SESSION TRA
|
4E 53 41 43 54 49 4F 4E 20 49 53 4F 4C 41 54 49 NSACTION ISOLATI
|
4F 4E 20 4C 45 56 45 4C 20 52 45 41 44 20 55 4E ON LEVEL READ UN
|
43 4F 4D 4D 49 54 54 45 44 COMMITTED
|
|
|
read at -exchange:15914- 2020-03-10T06:45:14.812Z (compressed protocol - packet not compressed)
|
2C 00 00 01 00 00 00 ,......
|
28 00 00 01 00 00 00 02 40 00 00 00 1F 00 1D 0C (.......@.......
|
74 78 5F 69 73 6F 6C 61 74 69 6F 6E 0F 52 45 50 tx_isolation.REP
|
45 41 54 41 42 4C 45 2D 52 45 41 44 EATABLE-READ
|
send at -exchange:279198- 2020-03-10T08:36:38.608Z (compressed protocol - packet not compressed)
|
3D 00 00 00 00 00 00 =......
|
39 00 00 00 9...
|
03 53 45 54 20 53 45 53 53 49 4F 4E 20 54 52 41 .SET SESSION TRA
|
4E 53 41 43 54 49 4F 4E 20 49 53 4F 4C 41 54 49 NSACTION ISOLATI
|
4F 4E 20 4C 45 56 45 4C 20 52 45 41 44 20 55 4E ON LEVEL READ UN
|
43 4F 4D 4D 49 54 54 45 44 COMMITTED
|
|
|
read at -exchange:279199- 2020-03-10T08:36:38.609Z (compressed protocol - packet not compressed)
|
2C 00 00 01 00 00 00 ,......
|
28 00 00 01 00 00 00 02 40 00 00 00 1F 00 1D 0C (.......@.......
|
74 78 5F 69 73 6F 6C 61 74 69 6F 6E 0F 52 45 50 tx_isolation.REP
|
45 41 54 41 42 4C 45 2D 52 45 41 44 EATABLE-READ
|
send at -exchange:115923- 2020-03-10T08:37:50.187Z (compressed protocol - packet not compressed)
|
3D 00 00 00 00 00 00 =......
|
39 00 00 00 9...
|
03 53 45 54 20 53 45 53 53 49 4F 4E 20 54 52 41 .SET SESSION TRA
|
4E 53 41 43 54 49 4F 4E 20 49 53 4F 4C 41 54 49 NSACTION ISOLATI
|
4F 4E 20 4C 45 56 45 4C 20 52 45 41 44 20 55 4E ON LEVEL READ UN
|
43 4F 4D 4D 49 54 54 45 44 COMMITTED
|
|
|
read at -exchange:115924- 2020-03-10T08:37:50.190Z (compressed protocol - packet not compressed)
|
2C 00 00 01 00 00 00 ,......
|
28 00 00 01 00 00 00 02 40 00 00 00 1F 00 1D 0C (.......@.......
|
74 78 5F 69 73 6F 6C 61 74 69 6F 6E 0F 52 45 50 tx_isolation.REP
|
45 41 54 41 42 4C 45 2D 52 45 41 44 EATABLE-READ
|
any help with this would be highly appreciated. 
Attachments
Issue Links
- relates to
-
CONJ-771 enablePacketDebug reset stack when reconnecting
-
- Closed
-
Activity
Another interesting thing we just found in the audit log of aurora:
~5 minutes after the connection reset exception occured, the audit log logged this for the same connection id:
2020-04-11T05:59:10.726Z...2174288,0,DISCONNECT,...,,0
|
reset timestamp:
2020-04-11T05:54:17Z Caused by: java.sql.SQLTransientConnectionException: (conn=2174288) Connection reset
|
Does that mean the connection reset happened on client side?
We have 'reverted' back to the mysql connector and are now seeeing:
Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Communications link failure
instead of connection resets. So imho it is not a MariaDB issue. This can probably be closed.
Below is a packetDebug log where I removed the query due to company policy:
Caused by: java.sql.SQLTransientConnectionException: Connection resetthread:0 read at -exchange:59450- 2020-04-11T05:54:10.448Z+--------------------------------------------------+| 0 1 2 3 4 5 6 7 8 9 a b c d e f |+--------------------------------------------------+------------------+| 8D 00 00 17 03 31 32 30 03 31 37 39 03 31 37 39 | .....120.179.179 || 03 31 32 30 01 31 03 30 2E 31 22 31 2E 33 2E 36 | .120.1.0.1"1.3.6 || 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E 31 2E 31 | .1.4.1.318.1.1.1 || 30 2E 35 2E 31 2E 31 2E 31 2E 38 2E 32 22 31 2E | 0.5.1.1.1.8.2"1. || 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E | 3.6.1.4.1.318.1. || 31 2E 31 30 2E 35 2E 31 2E 31 2E 31 2E 35 2E 32 | 1.10.5.1.1.1.5.2 || 20 31 2E 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 | 1.3.6.1.4.1.318 || 2E 31 2E 31 2E 31 30 2E 33 2E 31 32 2E 31 31 2E | .1.1.10.3.12.11. || 30 0F 57 69 72 65 6C 65 73 73 20 50 6F 72 74 20 | 0.Wireless Port || 32 | 2 |+--------------------------------------------------+------------------+thread:0 read at -exchange:59451- 2020-04-11T05:54:10.448Z+--------------------------------------------------+| 0 1 2 3 4 5 6 7 8 9 a b c d e f |+--------------------------------------------------+------------------+| 8D 00 00 18 03 31 32 30 03 31 38 30 03 31 38 30 | .....120.180.180 || 03 31 32 30 01 31 03 30 2E 31 22 31 2E 33 2E 36 | .120.1.0.1"1.3.6 || 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E 31 2E 31 | .1.4.1.318.1.1.1 || 30 2E 35 2E 31 2E 31 2E 31 2E 38 2E 33 22 31 2E | 0.5.1.1.1.8.3"1. || 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E | 3.6.1.4.1.318.1. || 31 2E 31 30 2E 35 2E 31 2E 31 2E 31 2E 35 2E 33 | 1.10.5.1.1.1.5.3 || 20 31 2E 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 | 1.3.6.1.4.1.318 || 2E 31 2E 31 2E 31 30 2E 33 2E 31 32 2E 31 31 2E | .1.1.10.3.12.11. || 30 0F 57 69 72 65 6C 65 73 73 20 50 6F 72 74 20 | 0.Wireless Port || 33 | 3 |+--------------------------------------------------+------------------+thread:0 read at -exchange:59452- 2020-04-11T05:54:10.448Z+--------------------------------------------------+| 0 1 2 3 4 5 6 7 8 9 a b c d e f |+--------------------------------------------------+------------------+| 8D 00 00 19 03 31 32 30 03 31 38 31 03 31 38 31 | .....120.181.181 || 03 31 32 30 01 31 03 30 2E 31 22 31 2E 33 2E 36 | .120.1.0.1"1.3.6 || 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E 31 2E 31 | .1.4.1.318.1.1.1 || 30 2E 35 2E 31 2E 31 2E 31 2E 38 2E 34 22 31 2E | 0.5.1.1.1.8.4"1. || 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E | 3.6.1.4.1.318.1. || 31 2E 31 30 2E 35 2E 31 2E 31 2E 31 2E 35 2E 34 | 1.10.5.1.1.1.5.4 || 20 31 2E 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 | 1.3.6.1.4.1.318 || 2E 31 2E 31 2E 31 30 2E 33 2E 31 32 2E 31 31 2E | .1.1.10.3.12.11. || 30 0F 57 69 72 65 6C 65 73 73 20 50 6F 72 74 20 | 0.Wireless Port || 34 | 4 |+--------------------------------------------------+------------------+thread:0 read at -exchange:59453- 2020-04-11T05:54:10.448Z+--------------------------------------------------+| 0 1 2 3 4 5 6 7 8 9 a b c d e f |+--------------------------------------------------+------------------+| 8D 00 00 1A 03 31 32 30 03 31 38 32 03 31 38 32 | .....120.182.182 || 03 31 32 30 01 31 03 30 2E 31 22 31 2E 33 2E 36 | .120.1.0.1"1.3.6 || 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E 31 2E 31 | .1.4.1.318.1.1.1 || 30 2E 35 2E 31 2E 31 2E 31 2E 38 2E 35 22 31 2E | 0.5.1.1.1.8.5"1. || 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E | 3.6.1.4.1.318.1. || 31 2E 31 30 2E 35 2E 31 2E 31 2E 31 2E 35 2E 35 | 1.10.5.1.1.1.5.5 || 20 31 2E 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 | 1.3.6.1.4.1.318 || 2E 31 2E 31 2E 31 30 2E 33 2E 31 32 2E 31 31 2E | .1.1.10.3.12.11. || 30 0F 57 69 72 65 6C 65 73 73 20 50 6F 72 74 20 | 0.Wireless Port || 35 | 5 |+--------------------------------------------------+------------------+thread:0 read at -exchange:59454- 2020-04-11T05:54:10.448Z+--------------------------------------------------+| 0 1 2 3 4 5 6 7 8 9 a b c d e f |+--------------------------------------------------+------------------+| 8D 00 00 1B 03 31 32 30 03 31 38 33 03 31 38 33 | .....120.183.183 || 03 31 32 30 01 31 03 30 2E 31 22 31 2E 33 2E 36 | .120.1.0.1"1.3.6 || 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E 31 2E 31 | .1.4.1.318.1.1.1 || 30 2E 35 2E 31 2E 31 2E 31 2E 38 2E 36 22 31 2E | 0.5.1.1.1.8.6"1. || 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E | 3.6.1.4.1.318.1. || 31 2E 31 30 2E 35 2E 31 2E 31 2E 31 2E 35 2E 36 | 1.10.5.1.1.1.5.6 || 20 31 2E 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 | 1.3.6.1.4.1.318 || 2E 31 2E 31 2E 31 30 2E 33 2E 31 32 2E 31 31 2E | .1.1.10.3.12.11. || 30 0F 57 69 72 65 6C 65 73 73 20 50 6F 72 74 20 | 0.Wireless Port || 36 | 6 |+--------------------------------------------------+------------------+thread:0 read at -exchange:59455- 2020-04-11T05:54:10.448Z+--------------------------------------------------+| 0 1 2 3 4 5 6 7 8 9 a b c d e f |+--------------------------------------------------+------------------+| 8D 00 00 1C 03 31 32 30 03 31 38 34 03 31 38 34 | .....120.184.184 || 03 31 32 30 01 31 03 30 2E 31 22 31 2E 33 2E 36 | .120.1.0.1"1.3.6 || 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E 31 2E 31 | .1.4.1.318.1.1.1 || 30 2E 35 2E 31 2E 31 2E 31 2E 38 2E 37 22 31 2E | 0.5.1.1.1.8.7"1. || 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E | 3.6.1.4.1.318.1. || 31 2E 31 30 2E 35 2E 31 2E 31 2E 31 2E 35 2E 37 | 1.10.5.1.1.1.5.7 || 20 31 2E 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 | 1.3.6.1.4.1.318 || 2E 31 2E 31 2E 31 30 2E 33 2E 31 32 2E 31 31 2E | .1.1.10.3.12.11. || 30 0F 57 69 72 65 6C 65 73 73 20 50 6F 72 74 20 | 0.Wireless Port || 37 | 7 |+--------------------------------------------------+------------------+thread:0 read at -exchange:59456- 2020-04-11T05:54:10.448Z+--------------------------------------------------+| 0 1 2 3 4 5 6 7 8 9 a b c d e f |+--------------------------------------------------+------------------+| 8D 00 00 1D 03 31 32 30 03 31 38 35 03 31 38 35 | .....120.185.185 || 03 31 32 30 01 31 03 30 2E 31 22 31 2E 33 2E 36 | .120.1.0.1"1.3.6 || 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E 31 2E 31 | .1.4.1.318.1.1.1 || 30 2E 35 2E 31 2E 31 2E 31 2E 38 2E 38 22 31 2E | 0.5.1.1.1.8.8"1. || 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E | 3.6.1.4.1.318.1. || 31 2E 31 30 2E 35 2E 31 2E 31 2E 31 2E 35 2E 38 | 1.10.5.1.1.1.5.8 || 20 31 2E 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 | 1.3.6.1.4.1.318 || 2E 31 2E 31 2E 31 30 2E 33 2E 31 32 2E 31 31 2E | .1.1.10.3.12.11. || 30 0F 57 69 72 65 6C 65 73 73 20 50 6F 72 74 20 | 0.Wireless Port || 38 | 8 |+--------------------------------------------------+------------------+thread:0 read at -exchange:59457- 2020-04-11T05:54:10.448Z+--------------------------------------------------+| 0 1 2 3 4 5 6 7 8 9 a b c d e f |+--------------------------------------------------+------------------+| 8D 00 00 1E 03 31 32 30 03 31 38 36 03 31 38 36 | .....120.186.186 || 03 31 32 30 01 31 03 30 2E 31 22 31 2E 33 2E 36 | .120.1.0.1"1.3.6 || 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E 31 2E 31 | .1.4.1.318.1.1.1 || 30 2E 35 2E 31 2E 31 2E 31 2E 38 2E 39 22 31 2E | 0.5.1.1.1.8.9"1. || 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 2E 31 2E | 3.6.1.4.1.318.1. || 31 2E 31 30 2E 35 2E 31 2E 31 2E 31 2E 35 2E 39 | 1.10.5.1.1.1.5.9 || 20 31 2E 33 2E 36 2E 31 2E 34 2E 31 2E 33 31 38 | 1.3.6.1.4.1.318 || 2E 31 2E 31 2E 31 30 2E 33 2E 31 32 2E 31 31 2E | .1.1.10.3.12.11. || 30 0F 57 69 72 65 6C 65 73 73 20 50 6F 72 74 20 | 0.Wireless Port || 39 | 9 |+--------------------------------------------------+------------------+thread:0 read at -exchange:59458- 2020-04-11T05:54:10.448Z+--------------------------------------------------+| 0 1 2 3 4 5 6 7 8 9 a b c d e f |+--------------------------------------------------+------------------+| 07 00 00 1F FE 00 00 01 00 00 00 | ........... |+--------------------------------------------------+------------------+thread:0 send at -exchange:59459- 2020-04-11T05:54:17.887Z+--------------------------------------------------+| 0 1 2 3 4 5 6 7 8 9 a b c d e f |+--------------------------------------------------+------------------+a rather long select was here that I removed due to company policy+--------------------------------------------------+------------------+And these are the parameters we use for our connection, maybe we configure something wrong? Because it really happens in all our applications that recently switched to MariaDB and they all use very similar parameters:
"loginTimeout", "0""serverTimezone", "UTC""cachePrepStmts", "true""prepStmtCacheSize", "500""prepStmtCacheSqlLimit", "2048""useServerPrepStmts", "true""rewriteBatchedStatements", "true""cacheServerConfiguration", "true""autoReconnect", "true""useUnicode", "true""connectionCollation", "utf8_general_ci""zeroDateTimeBehavior", "convertToNull""enablePacketDebug", "true"