NetXMS 1.2.12 released

[andrey--k]

netxms-snapshot-develop (2014-03-17) + Debian 7 + Oracle 11
netxms опять упал по памяти...
syslog в аттаче.
Сбор dci  выключен.

$ nxadm -c " show stats"
Total number of objects:     18144
Number of monitored nodes:   1023
Number of collectable DCIs:  1030

Что может быть?
Как бороться с падениями?

Edit:
Пересмотрел сообщения syslog.
На этот раз падение вызвано тем, что закончился swap. Добавил места на swap разделе... наблюдаем-с...

---

Netxms_fail_2014-03-18.txt

[victor]

А как выглядит график использования памяти процессом netxmsd? Может там просто memory leak...

[andrey--k]

@victor said in NetXMS 1.2.12 released:

А как выглядит график использования памяти процессом netxmsd? Может там просто memory leak...

Постоянно растет.
Точные цифры смогу привести завтра утром.

[victor]

А под valgrind будет возможность запустить?

[andrey--k]

@victor said in NetXMS 1.2.12 released:

А под valgrind будет возможность запустить?

Думаю, что да.
Там требуются какие-либо специфические действия перед запуском (перекомпиляция с доп-флагами, настройки среды)?

[victor]

Нет, просто запустить. Для valgrind'а рекомендуемые параметры --leak-check=full --undef-value-errors=no

[andrey--k]

Для теста запустил на "тестовой" конфигурации.
Debian7 + mysql
Результат в аттаче.

---

valgrind_netxmsd.txt

[andrey--k]

Открыл Quick Start Guide по valgrind.
В рекомендациях:

Compile your program with -g to include debugging information so that Memcheck's error messages include exact line numbers. Using -O0 is also a good idea

Как правильно включить эти опции при ./configure
На сколько я понимаю для добавления "-g" используется --enable-debug
Как без переписывания configure включить -O0 вместо -O2  ?

Update:
Поменял вручную -O2 на -O0 в configure
перекомпилировал, запустил и остановил демон.
Вывод консоли по ссылке:

https://drive.google.com/file/d/0B0SS9KVzB6egT1BNSm9qUW0zQ0k/edit?usp=sharing

Результаты работы 40+ минут...

https://drive.google.com/file/d/0B0SS9KVzB6egbG9hSmE0MXZwZnM/edit?usp=sharing

то же для агента:

https://drive.google.com/file/d/0B0SS9KVzB6egQWtqaEMwWUtiYUk/edit?usp=sharing

[andrey--k]

@andrey-k said in NetXMS 1.2.12 released:

На этот раз падение вызвано тем, что закончился swap. Добавил места на swap разделе... наблюдаем-с...

Статистика на сегодня:

$ nxadm -c " show stats"
Total number of objects:     21784
Number of monitored nodes:   1306
Number of collectable DCIs:  1322

$ free
             total       used       free     shared    buffers     cached
Mem:       3095372    3016412      78960          0       1312      23180
-/+ buffers/cache:    2991920     103452
Swap:      6288380    3289264    2999116

Попробую запустить под valgrind.

[andrey--k]

[quote author=andrey--k link=topic=2922.msg13170#msg13170 date=1395132520]
netxms-snapshot-develop (2014-03-17) + Debian 7 + Oracle 11

Запустил под valgrind.
Результат во вложении.

На заметку:
под valgrid большая нагрузка на ЦПУ. Есть подозрение что netxms не успевал обрабатывать все очереди.

---

netxmsd_valgrind.txt

[victor]

Ничего сильно подозрительного не нашел в логе. Был один маленький leak при открытии сессии, но к таким результатам он не должен был привести.
Можете попробовать погонять подольше систему? И второе - попробовать massif (http://valgrind.org/docs/manual/ms-manual.html)?

[andrey--k]

Что-то мне кажется, что это не утечка, а нормальное поведение...
Сегодня когда удалял несколько устройств (несколько маршрутизаторов) - потребление памяти упало (на графике). Учитывая что памяти на сервере 3ГБ - и удаление нескольких устройств заметно - то возникает закономерный вопрос расхода памяти на 1 устройство (многопортовая циска). А их много...
Появляется мысль промониторить пару-тройку дней, если % памяти расти перестанет (падать система в теории не должна, там в данный момент swap-раздел большой).
Под massif обязательно попробую запустить.

Offtop:
При запуске nxagentd вчитался в ошибки.
make install не создал каталог:
/usr/local/var/netxms/

[andrey--k]

Обещаный  valgrind --tool=massif
см аттач.
За 2 дня, после обнуления БД, почему-то большая часть оборудования не стала под мониторинг, по этому нагрузка на сервер маленькая.

$ nxadm -c " sh sta"
Total number of objects:     7437
Number of monitored nodes:   566
Number of collectable DCIs:  574

---

massif.out.25344

massif.out.25032

[raypetter]

Since this version has segmentation faults which could be devastating for mission critical environments - perhaps it's not a good idea to let 1.2.12 be available for download..

[victor]

Hi!

I suppose you mean 1.2.13 - 1.2.12 already archived and not referenced directly on download page. I'll prepare 1.2.14 release in a next few days - it should fix crashes discovered in 1.2.12 and 1.2.13. Then 1.2.13 will be moved to archive.

Best regards,
Victor

[raypetter]

Yes, you're correct. Sorry about the confusion. Looking forward to your new release. Cheers.