<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[Шторм аварий]]></title><description><![CDATA[<p dir="auto">В продолжение темы:<br />
<a href="https://www.netxms.org/forum/oe-oo/shkval-opoveschenij-posle-poteri-kontakta-s-proksi-nodoj/15/" rel="nofollow ugc">https://www.netxms.org/forum/oe-oo/shkval-opoveschenij-posle-poteri-kontakta-s-proksi-nodoj/15/</a></p>
<ol start="3">
<li>Отдельная и более серьёзная проблема — шторм аварий.</li>
</ol>
<p dir="auto">08.07 ID аварий были в районе 43, 15.07 — уже 7 197 667. Семь миллионов аварий за неделю. В логах видно почему: статус узла скачет NORMAL<img src="https://forum.netxms.org/assets/plugins/nodebb-plugin-emoji/emoji/android/2194.png?v=72b86a538fc" class="not-responsive emoji emoji-android emoji--left_right_arrow" style="height:1.4em;width:auto;vertical-align:middle" title="↔" alt="↔" />MINOR десятки раз в секунду (события SYS_NODE_MINOR / SYS_NODE_NORMAL с тегом NodeStatus), и на каждое такое событие создаётся авария. Это и есть причина постоянного роста базы и ошибок в alarm log. Покажите правило, которое создаёт аварии на события изменения статуса узла — скорее всего, его нужно убрать или сильно ограничить. И надо разбираться, почему статус так флапает — это лучше вынести в отдельную тему.</p>
<p dir="auto">----------------<br />
то и есть причина постоянного роста базы и ошибок в alarm log.<br />
--------------------</p>
<p dir="auto">Тут не совсем так. На проблемной инсталляции база росла с 23 гб до 120 за 1-2 дня.<br />
Сейчас новой инсталляции сервера уже больше недели и база занимает 18 гб.</p>
<p dir="auto">Покажите правило, которое создаёт аварии на события изменения статуса узла — скорее всего, его нужно убрать или сильно ограничить.</p>
<p dir="auto">Проверяю. Отпишу</p>
]]></description><link>https://forum.netxms.org/topic/8425/шторм-аварий</link><generator>RSS for Node</generator><lastBuildDate>Fri, 13 Nov 2026 06:28:27 GMT</lastBuildDate><atom:link href="https://forum.netxms.org/topic/8425.rss" rel="self" type="application/rss+xml"/><pubDate>Sat, 18 Jul 2026 14:07:42 GMT</pubDate><ttl>60</ttl><item><title><![CDATA[Reply to Шторм аварий on Thu, 30 Jul 2026 08:51:00 GMT]]></title><description><![CDATA[<p dir="auto">Но одно следствие проверьте: на свежей инсталляции стандартные события, правила EPP и темплейты уже существуют. Если на старом сервере вы меняли что-то стандартное — severity системных событий, дефолтные правила, — то при импорте без Replace эти изменения молча не применились, остались свежие дефолтные версии.</p>
<p dir="auto">----------<br />
Именно так и делал. Проверю</p>
]]></description><link>https://forum.netxms.org/post/35692</link><guid isPermaLink="true">https://forum.netxms.org/post/35692</guid><dc:creator><![CDATA[Stanislav]]></dc:creator><pubDate>Thu, 30 Jul 2026 08:51:00 GMT</pubDate></item><item><title><![CDATA[Reply to Шторм аварий on Fri, 24 Jul 2026 14:43:32 GMT]]></title><description><![CDATA[<p dir="auto">По шторм-детектору: вы его не пропустили — он не сработал, потому что выключен по умолчанию (EventStorm.EnableDetection = 0). Готового правила в EPP под него тоже нет — из коробки есть только шаблон события SYS_EVENT_STORM_DETECTED.</p>
<p dir="auto">Как это работает, если включить: сервер раз в секунду сравнивает поток событий с порогом EventStorm.EventsPerSecond (по умолчанию 1000 в секунду). Если поток держится выше порога дольше EventStorm.Duration (15 секунд), генерируется SYS_EVENT_STORM_DETECTED, и дальше сервер просто отбрасывает все входящие события, пока поток не упадёт ниже порога — тогда SYS_EVENT_STORM_ENDED и нормальная работа. То есть это не мониторинг, а предохранитель: вашу петлю он бы разорвал, но на время шторма мониторинг слепнет — отбрасываются все события, не только «лишние».</p>
<p dir="auto">Что сделать:</p>
<ul>
<li>Сначала померьте нормальный поток: DCI на объекте сервера с internal-параметром Server.TotalEventsProcessed и обработкой «average delta per second» покажет события в секунду. Порог ставьте с запасом выше нормальных пиков — дефолтные 1000/с для вашей инсталляции почти наверняка слишком высоко, ваша петля могла до них и не дотягивать.</li>
<li>EventStorm.EnableDetection = 1, порог и длительность — по результатам замера. Все три параметра требуют рестарта сервера.</li>
<li>Правило в EPP на SYS_EVENT_STORM_DETECTED с алармом или нотификацией — иначе детектор молча отбросит события, и вы узнаете постфактум.</li>
</ul>
<p dir="auto">На тот же DCI стоит повесить и обычный threshold — он даст раннее предупреждение на уровне сильно ниже шторма и ничего при этом не отбрасывает.</p>
<p dir="auto">По галочкам Replace: нет, здесь они бы ничего не изменили. Replace управляет только конфликтами: если объект с таким GUID/именем на сервере уже есть, с галочкой он перезаписывается версией из файла, без — остаётся как был, версия из файла пропускается. Объектов, которых на сервере нет, это не касается — они создаются всегда, независимо от галочек. Ваше событие потерялось не из-за этого — его не было на сервере в момент импорта правил, это и есть тот тикет про импорт.</p>
<p dir="auto">Но одно следствие проверьте: на свежей инсталляции стандартные события, правила EPP и темплейты уже существуют. Если на старом сервере вы меняли что-то стандартное — severity системных событий, дефолтные правила, — то при импорте без Replace эти изменения молча не применились, остались свежие дефолтные версии.</p>
]]></description><link>https://forum.netxms.org/post/35674</link><guid isPermaLink="true">https://forum.netxms.org/post/35674</guid><dc:creator><![CDATA[alk]]></dc:creator><pubDate>Fri, 24 Jul 2026 14:43:32 GMT</pubDate></item><item><title><![CDATA[Reply to Шторм аварий on Fri, 24 Jul 2026 05:28:57 GMT]]></title><description><![CDATA[<p dir="auto">Вопрос: при импорте конфигурации на новый сервер нужно было во всех параметрах импорта устанавливать галочку в полях Replace?</p>
<hr />
<p dir="auto"><img src="/assets/uploads/files/smf/0000000007342-Netxms_import_configuration.png" alt="Netxms import configuration.png" class="img-markdown  img-fluid" width="1822" height="313" /></p>
]]></description><link>https://forum.netxms.org/post/35672</link><guid isPermaLink="true">https://forum.netxms.org/post/35672</guid><dc:creator><![CDATA[Stanislav]]></dc:creator><pubDate>Fri, 24 Jul 2026 05:28:57 GMT</pubDate></item><item><title><![CDATA[Reply to Шторм аварий on Fri, 24 Jul 2026 05:26:39 GMT]]></title><description><![CDATA[<p dir="auto">Прикладываю скриншоты со старого и нового сервера</p>
<hr />
<p dir="auto"><img src="/assets/uploads/files/smf/0000000007338-Netxms_alarm_High_usage_CPU_more_then_15_min_.png" alt="Netxms alarm High usage CPU more then 15 min новый сервер.png" class="img-markdown  img-fluid" width="1708" height="433" /></p>
<p dir="auto"><img src="/assets/uploads/files/smf/0000000007340-Netxms_alarm_High_usage_CPU_more_then_15_min_.png" alt="Netxms alarm High usage CPU more then 15 min старый сервер.png" class="img-markdown  img-fluid" width="1518" height="540" /></p>
]]></description><link>https://forum.netxms.org/post/35671</link><guid isPermaLink="true">https://forum.netxms.org/post/35671</guid><dc:creator><![CDATA[Stanislav]]></dc:creator><pubDate>Fri, 24 Jul 2026 05:26:39 GMT</pubDate></item><item><title><![CDATA[Reply to Шторм аварий on Fri, 24 Jul 2026 05:21:07 GMT]]></title><description><![CDATA[<p dir="auto">Да я понял. Уже проверил все правила которые создавал сам.<br />
Проверю на всякий случай и остальные правила.</p>
<p dir="auto">Вопрос: а можно на будущее как-то мониторить такие события? Есть правило по шторму событий. Оно не сработало или я пропустил его?</p>
]]></description><link>https://forum.netxms.org/post/35670</link><guid isPermaLink="true">https://forum.netxms.org/post/35670</guid><dc:creator><![CDATA[Stanislav]]></dc:creator><pubDate>Fri, 24 Jul 2026 05:21:07 GMT</pubDate></item><item><title><![CDATA[Reply to Шторм аварий on Tue, 21 Jul 2026 08:48:33 GMT]]></title><description><![CDATA[<p dir="auto">Ошибки при создании правила не было. Список событий у правила сейчас пустой, а пустой список в EPP означает "любое событие" — на скриншоте в разделе Events так и написано, "Any event". После импорта правило 96 создаёт аларм на каждое событие от всех объектов из своего списка source.</p>
<p dir="auto">Отсюда же и скачки статуса, про которые вы писали в первом сообщении. Это не отдельная проблема, а следствие той же поломки — цикл замыкается сам на себя:</p>
<ol>
<li>Любое событие от ноды из списка попадает в правило 96, создаётся аларм severity MINOR.</li>
<li>Статус объекта считается как максимум из расчётного статуса и severity самого критичного активного аларма, поэтому нода уходит NORMAL → MINOR.</li>
<li>Смена статуса генерирует SYS_NODE_MINOR.</li>
<li>Это событие снова попадает в правило 96 — оно же ловит любое событие.</li>
<li>Парное правило "Terminate telegram alarm when CPU usage is normal" потеряло своё событие точно так же и тоже ловит любое. Оно закрывает аларм, статус падает обратно в NORMAL, генерируется SYS_NODE_NORMAL.</li>
<li>Дальше по кругу, со скоростью обработки событий.</li>
</ol>
<p dir="auto">В логе это видно напрямую: у события SYS_NODE_MINOR стоит lastAlarmKey "High_cpu_usage_ТРК сервер офис_0x0000010C", то есть событие смены статуса обработано именно правилом про CPU.</p>
<p dir="auto">Семь миллионов ID сожгла именно пара create + terminate. Если бы аларм только создавался, при одинаковом alarm key сервер увеличивал бы repeat count у существующего аларма и новый ID не выделял. Но парное правило каждый раз закрывает аларм, поэтому следующее событие заводит новый.</p>
<p dir="auto">Что сделать:</p>
<ul>
<li><strong>Проверьте все правила, а не только эти два.</strong> Импорт молча выбрасывает ссылки на события, которых нет на целевом сервере, и правило остаётся включённым с урезанным списком. Если выпали все события — правило становится catch-all. Пройдитесь по списку правил и посмотрите, где список событий пуст.</li>
<li>В первую очередь те, что создают алармы или шлют нотификации. У них такая поломка даёт не лишние срабатывания, а вот такой шторм.</li>
<li>При переносе на новую инсталляцию custom-события и правила должны быть в одном экспорт-файле. Внутри файла порядок правильный, события импортируются раньше правил. Ломается, когда правила и события уезжают разными файлами и правила импортируются первыми — на момент импорта правил событий ещё нет.</li>
</ul>
<p dir="auto">База сама не почистится. Рост прекратится, как только уберёте catch-all правила, а накопленные алармы и event log будет разгребать housekeeper по настройкам retention — на семи миллионах записей это не быстро.</p>
<p dir="auto">На сам импорт завёл тикет — молча терять ссылки на события и оставлять правило включённым он не должен: <a href="https://github.com/netxms/netxms/issues/3443" rel="nofollow ugc">https://github.com/netxms/netxms/issues/3443</a></p>
]]></description><link>https://forum.netxms.org/post/35660</link><guid isPermaLink="true">https://forum.netxms.org/post/35660</guid><dc:creator><![CDATA[alk]]></dc:creator><pubDate>Tue, 21 Jul 2026 08:48:33 GMT</pubDate></item><item><title><![CDATA[Reply to Шторм аварий on Sat, 18 Jul 2026 17:22:43 GMT]]></title><description><![CDATA[<p dir="auto">Вроде нашел подходящее правило. В чем я мог ошибиться при его создании?<br />
Цель правила: если на сервере 15 мин и более наблюдается загрузка ЦП более 90% то отправляется уведомление.</p>
<p dir="auto">UPD. Нашел в чем проблема. При экспорте-импорте на новую инсталляцию Netxms потерялось событие которое добавлял вручную. Пока отключил правило. Позже исправлю и проверю остальные правила на предмет таких же нестыковок</p>
<hr />
<p dir="auto"><img src="/assets/uploads/files/smf/0000000007309-2026-07-18_211058.png" alt="Снимок экрана 2026-07-18 211058.png" class="img-markdown  img-fluid" width="1216" height="705" /></p>
<p dir="auto"><img src="/assets/uploads/files/smf/0000000007311-Netxms_rule_96_High_CPU_usage_more_than_15_min_18_07_2026.png" alt="Netxms rule 96 High CPU usage more than 15 min 18 07 2026.png" class="img-markdown  img-fluid" width="1016" height="598" /></p>
]]></description><link>https://forum.netxms.org/post/35651</link><guid isPermaLink="true">https://forum.netxms.org/post/35651</guid><dc:creator><![CDATA[Stanislav]]></dc:creator><pubDate>Sat, 18 Jul 2026 17:22:43 GMT</pubDate></item></channel></rss>