NetXMS 1.2.12 released

andrey--k

Debian7 + oracle 11g
netxms съел всю память и опять упал.

$ uptime
 09:19:17 up 55 min,  2 users,  load average: 0.03, 0.25, 0.23

syslog:

Mar  5 09:15:21 i0debnxms kernel: [ 3105.416859] Out of memory: Kill process 2116 (netxmsd) score 888 or sacrifice child
Mar  5 09:15:21 i0debnxms kernel: [ 3105.416958] Killed process 2116 (netxmsd) total-vm:1928652kB, anon-rss:922256kB, file-rss:0kB

Удалил 75000 DCI.
Потребление памяти после запуска уменьшилось с 960 MB до 215 MB.
Нагрузка на ЦПУ упала с 50-60% до 0,5-2%.

andrey--k

В консоли на windows не работает переключение языка.

Victor Kirhenshtein

@andrey-k said in NetXMS 1.2.12 released:

Удалил 75000 DCI.
Потребление памяти после запуска уменьшилось с 960 MB до 215 MB.
Нагрузка на ЦПУ упала с 50-60% до 0,5-2%.

What type those DCIs was - SNMP or agent? What was collection interval?

Best regards,
Victor

andrey--k

It was snmp-based dynamic DCI (installed software).
Collect interval 20 000.
Was assigned to 200+ nodes.

andrey--k

@andrey-k said in NetXMS 1.2.12 released:

В консоли на windows не работает переключение языка.

Утром обнаружил консоль на русском.

Провел тест:
Переключаю на английский - консоль просит перезапуска.
Соглашаюсь, консоль перезапускается - остался русский.
Закрываю, открываю по новой - уже английский...

andrey--k

I have faced with memory-end trouble again.
This morning netxms was killed by system in couse of low memory. Syslog dump in attach.
System 3Gib RAM.
nxadm -c " sh sta"

Total number of objects:     36245
Number of monitored nodes:   2533
Number of collectable DCIs:  4172

DCI:
snmp-table.

After of almost hour work of netxms it used:

$ ps all x | grep netx
F UID PID PPID PRI NI VSZ RSS WCHAN STAT TTY TIME COMMAND

1 0 4826 1 20 0 2527320 1943124 ? Ssl ? 53:00 /usr/local/bin/netxmsd -d -D 5

$ free -l
total used free shared buffers cached
Mem: 3095372 2216484 878888 0 37024 180472
Low: 3095372 2216484 878888
High: 0 0 0
-/+ buffers/cache: 1998988 1096384
Swap: 731132 0 731132

syslog_nx_fail.txt

andrey--k

Debian 7 + mysql
After element deletion, error messages appears until daemon restart:

[13-Mar-2014 21:11:17.846] [DEBUG] * Syncer * Unable to delete object with id 149 because it is being referenced 2 time(s)
[13-Mar-2014 21:11:17.846] [DEBUG] * Syncer * Unable to delete object with id 197 because it is being referenced 1 time(s)
[13-Mar-2014 21:11:17.846] [DEBUG] * Syncer * Unable to delete object with id 199 because it is being referenced 1 time(s)
[13-Mar-2014 21:12:17.866] [DEBUG] * Syncer * Unable to delete object with id 149 because it is being referenced 2 time(s)
[13-Mar-2014 21:12:17.866] [DEBUG] * Syncer * Unable to delete object with id 197 because it is being referenced 1 time(s)
[13-Mar-2014 21:12:17.866] [DEBUG] * Syncer * Unable to delete object with id 199 because it is being referenced 1 time(s)

andrey--k

netxms-snapshot-develop (2014-03-11) + Debian 7 + Oracle 11
This morning I have found netxmsd in down state.
there were no any warnings/errors in /val/log/netxms and syslog.
but dmesg show segfault in same time as last message in /val/log/netxms

[260980.857523] conftest[20746]: segfault at 0 ip 00007fb7e577384b sp 00007fffdab78470 error 4 in libc-2.13.so[7fb7e5702000+182000]

andrey--k

netxms-snapshot-develop (2014-03-17) + Debian 7 + Oracle 11
netxms опять упал по памяти...
syslog в аттаче.
Сбор dci выключен.

$ nxadm -c " show stats"
Total number of objects:     18144
Number of monitored nodes:   1023
Number of collectable DCIs:  1030

Что может быть?
Как бороться с падениями?

Edit:
Пересмотрел сообщения syslog.
На этот раз падение вызвано тем, что закончился swap. Добавил места на swap разделе... наблюдаем-с...

Netxms_fail_2014-03-18.txt

Victor Kirhenshtein

А как выглядит график использования памяти процессом netxmsd? Может там просто memory leak...

andrey--k

@victor said in NetXMS 1.2.12 released:

А как выглядит график использования памяти процессом netxmsd? Может там просто memory leak...

Постоянно растет.
Точные цифры смогу привести завтра утром.

Victor Kirhenshtein

А под valgrind будет возможность запустить?

andrey--k

@victor said in NetXMS 1.2.12 released:

А под valgrind будет возможность запустить?

Думаю, что да.
Там требуются какие-либо специфические действия перед запуском (перекомпиляция с доп-флагами, настройки среды)?

Victor Kirhenshtein

Нет, просто запустить. Для valgrind'а рекомендуемые параметры --leak-check=full --undef-value-errors=no

andrey--k

Для теста запустил на "тестовой" конфигурации.
Debian7 + mysql
Результат в аттаче.

valgrind_netxmsd.txt

andrey--k

Открыл Quick Start Guide по valgrind.
В рекомендациях:

Compile your program with -g to include debugging information so that Memcheck's error messages include exact line numbers. Using -O0 is also a good idea

Как правильно включить эти опции при ./configure
На сколько я понимаю для добавления "-g" используется --enable-debug
Как без переписывания configure включить -O0 вместо -O2 ?

Update:
Поменял вручную -O2 на -O0 в configure
перекомпилировал, запустил и остановил демон.
Вывод консоли по ссылке:

https://drive.google.com/file/d/0B0SS9KVzB6egT1BNSm9qUW0zQ0k/edit?usp=sharing

Результаты работы 40+ минут...

https://drive.google.com/file/d/0B0SS9KVzB6egbG9hSmE0MXZwZnM/edit?usp=sharing

то же для агента:

https://drive.google.com/file/d/0B0SS9KVzB6egQWtqaEMwWUtiYUk/edit?usp=sharing

andrey--k

@andrey-k said in NetXMS 1.2.12 released:

На этот раз падение вызвано тем, что закончился swap. Добавил места на swap разделе... наблюдаем-с...

Статистика на сегодня:

$ nxadm -c " show stats"
Total number of objects:     21784
Number of monitored nodes:   1306
Number of collectable DCIs:  1322

$ free
             total       used       free     shared    buffers     cached
Mem:       3095372    3016412      78960          0       1312      23180
-/+ buffers/cache:    2991920     103452
Swap:      6288380    3289264    2999116

Попробую запустить под valgrind.

andrey--k

[quote author=andrey--k link=topic=2922.msg13170#msg13170 date=1395132520]
netxms-snapshot-develop (2014-03-17) + Debian 7 + Oracle 11

Запустил под valgrind.
Результат во вложении.

На заметку:
под valgrid большая нагрузка на ЦПУ. Есть подозрение что netxms не успевал обрабатывать все очереди.

netxmsd_valgrind.txt

Victor Kirhenshtein

Ничего сильно подозрительного не нашел в логе. Был один маленький leak при открытии сессии, но к таким результатам он не должен был привести.
Можете попробовать погонять подольше систему? И второе - попробовать massif (http://valgrind.org/docs/manual/ms-manual.html)?

andrey--k

Что-то мне кажется, что это не утечка, а нормальное поведение...
Сегодня когда удалял несколько устройств (несколько маршрутизаторов) - потребление памяти упало (на графике). Учитывая что памяти на сервере 3ГБ - и удаление нескольких устройств заметно - то возникает закономерный вопрос расхода памяти на 1 устройство (многопортовая циска). А их много...
Появляется мысль промониторить пару-тройку дней, если % памяти расти перестанет (падать система в теории не должна, там в данный момент swap-раздел большой).
Под massif обязательно попробую запустить.

Offtop:
При запуске nxagentd вчитался в ошибки.
make install не создал каталог:
/usr/local/var/netxms/

NetXMS Forum

NetXMS 1.2.12 released