Uploaded image for project: 'MariaDB ColumnStore'
  1. MariaDB ColumnStore
  2. MCOL-5709

Save EM image localy if S3 fails PUT request or avoid saving if shared memory image is damaged or empty

Details

    • New Feature
    • Status: Closed (View Workflow)
    • Critical
    • Resolution: Fixed
    • 23.10.1
    • 23.02.9, 23.10.2
    • cmapi
    • None
    • 2024-1

    Description

      The customer faced S3 connection outage that causes EM image loss(EM image has been replaced with an empty one). Given that S3 might be outside of the customer domain there must be a fallback mechanism to store EM locally if S3 store path for EM fails.
      The second protecting mechanism is to bypass saving operation of shared memory image is damaged or empty.

      Attachments

        Issue Links

          Activity

            drrtuy Roman added a comment -

            kirill.perov@mariadb.com

            • set up S3 cluster
            • add some data into it
            • shut down S3 server or fitler S3 communication
            • shut MCS cluster
            • check that there is a local copy of BRM files stored locally
            • check there are error messages in mcs-workernode@1 (mb '@ 2')
            drrtuy Roman added a comment - kirill.perov@mariadb.com set up S3 cluster add some data into it shut down S3 server or fitler S3 communication shut MCS cluster check that there is a local copy of BRM files stored locally check there are error messages in mcs-workernode@1 (mb '@ 2')

            got new guide:

            1 Поставил mcs
            2 Создал таблицу
            3 Вставил строку
            4 Отключил SM
            5 Дёрнул mcs cluster stop или systemctl stop mariadb-columnstore
            6 Увидел повисший save_brm в процессах
            7 Отправил ему kill -9
            8 Запустил clearShm чтобы очистить состояние из-за останова со сбоем
            9 Запустил кластер
            10 Огрёб ошибку при SELECT к таблице
            11 Остановил кластер
            12 Запустил только SM
            13 Загрузил данные BRM из локальной копии в бакет
            13 Запустил кластер
            14 Убедился, что данные таблицы доступны

            kirill.perov@mariadb.com Kirill Perov (Inactive) added a comment - got new guide: 1 Поставил mcs 2 Создал таблицу 3 Вставил строку 4 Отключил SM 5 Дёрнул mcs cluster stop или systemctl stop mariadb-columnstore 6 Увидел повисший save_brm в процессах 7 Отправил ему kill -9 8 Запустил clearShm чтобы очистить состояние из-за останова со сбоем 9 Запустил кластер 10 Огрёб ошибку при SELECT к таблице 11 Остановил кластер 12 Запустил только SM 13 Загрузил данные BRM из локальной копии в бакет 13 Запустил кластер 14 Убедился, что данные таблицы доступны

            drrtuy here are questions/problems regarding last instruction:

            kirill.perov
            12:59 AM
            4 Отключил SM - каким образом?

            NEW

            1:01
            на шаге 5:
            [root@kirillperov-rl8-1 kirill_perov]# mcs cluster stop
            Config distribution isn't successful.
            1:05
            6 Увидел повисший save_brm в процессах - не знаю как увидеть повисший, запущенного такого нет
            1:09
            на шаге 10 select не выдает ошибку

            kirill.perov@mariadb.com Kirill Perov (Inactive) added a comment - drrtuy here are questions/problems regarding last instruction: kirill.perov 12:59 AM 4 Отключил SM - каким образом? NEW 1:01 на шаге 5: [root@kirillperov-rl8-1 kirill_perov] # mcs cluster stop Config distribution isn't successful. 1:05 6 Увидел повисший save_brm в процессах - не знаю как увидеть повисший, запущенного такого нет 1:09 на шаге 10 select не выдает ошибку

            People

              drrtuy Roman
              drrtuy Roman
              Leonid Fedorov Leonid Fedorov
              Kirill Perov Kirill Perov (Inactive)
              Votes:
              0 Vote for this issue
              Watchers:
              4 Start watching this issue

              Dates

                Created:
                Updated:
                Resolved:

                Git Integration

                  Error rendering 'com.xiplink.jira.git.jira_git_plugin:git-issue-webpanel'. Please contact your Jira administrators.