Две кратковременные остановки основной сети Base: баг в управлении состоянием секвенсора привёл к прерыванию производства блоков

По сообщению Foresight News, Base опубликовала отчет с анализом инцидента, в котором говорится, что на основном блокчейне 25 и 26 июня произошли два перебоя в производстве блоков, продолжавшиеся примерно 116 минут и 20 минут соответственно. Официальные лица подчеркнули, что событие не повлияло на безопасность активов в сети, и пользовательские средства всегда оставались доступными. Основной причиной сбоя стала ошибка в логике построения блока у sequencer: после неудачного исполнения одной из транзакций система некорректно очищала исторический статус journal, что приводило к аномалиям в расчетах gas при последующих корректных транзакциях и формированию недопустимых блоков изменения состояния, из-за чего на всем уровне L2 прекратилось производство блоков. В период сбоя возникали такие проблемы, как полная остановка производства блоков, невозможность отправки транзакций в сеть и перегруженность mempool; на все пользовательские запросы eth_sendRawTransaction постоянно возвращались ошибки.

Позднее проблема была исправлена с помощью патча (PR #3806), и производство блоков было возобновлено. Однако из-за состояния гонки при сбросе движка во время перезапуска кластера sequencer возникли трудности с восстановлением синхронизации, и именно это стало косвенной причиной повторной короткой приостановки работы на следующий день.

В дальнейшем Base заявила, что будет уделять особое внимание усилению протокольного fuzzing-тестирования и стресс-тестирования, чтобы ранее выявлять аномальные варианты транзакций, а также обновит системы мониторинга и технической поддержки и внедрит более «грациозные механизмы восстановления» (graceful recovery) для повышения способности сети к быстрому восстановлению при аналогичных сбоях в будущем.