Падает сервер ()

serstor

Сервер падает и выдает в логе: Thread "Item Poller" does not respond to watchdog thread, Thread "Poll Manager" does not respond to watchdog thread, Thread "Syncer Thread" does not respond to watchdog thread. Схожая проблема была в топике https://www.netxms.org/forum/general-support/server-crash-319/. Сервер крутится на FreeBSD 8.0, используется база MySql, версия netxms 1.04. Проблема возникала и на предыдущих версиях, но намного реже. Привожу вывод следующих команд и дамп тредов в аттаче:
NetXMS Server Remote Console V1.0.4 Ready
Enter "help" for command list

netxmsd: show mutex
Mutex status:
  g_hMutexIdIndex: locked for reading
  g_hMutexNodeIndex: locked for reading
  g_hMutexSubnetIndex: unlocked
  g_hMutexInterfaceIndex: unlocked

netxmsd: show pollers
PT TIME STATE
S 25/Sep/2010 21:47:55 wait
S 25/Sep/2010 21:47:25 wait
S 25/Sep/2010 21:46:20 wait
S 25/Sep/2010 21:47:30 wait
S 25/Sep/2010 21:47:15 wait
S 25/Sep/2010 21:47:40 wait
S 25/Sep/2010 21:45:50 wait
S 25/Sep/2010 21:46:55 wait
S 25/Sep/2010 21:46:50 wait
S 25/Sep/2010 21:45:50 wait
S 25/Sep/2010 21:46:35 wait
S 25/Sep/2010 21:47:40 wait
S 25/Sep/2010 21:47:05 wait
S 25/Sep/2010 21:46:20 wait
S 25/Sep/2010 21:45:50 wait
S 25/Sep/2010 21:46:30 wait
S 25/Sep/2010 21:47:30 wait
S 25/Sep/2010 21:45:50 wait
S 25/Sep/2010 21:46:25 wait
S 25/Sep/2010 21:47:50 wait
S 25/Sep/2010 21:46:45 wait
S 25/Sep/2010 21:47:25 wait
S 25/Sep/2010 21:46:00 wait
S 25/Sep/2010 21:47:40 wait
S 25/Sep/2010 21:46:10 wait
S 25/Sep/2010 21:46:20 wait
S 25/Sep/2010 21:46:25 wait
S 25/Sep/2010 21:46:10 wait
S 25/Sep/2010 21:45:45 wait
S 25/Sep/2010 21:47:26 wait
S 25/Sep/2010 21:47:05 wait
S 25/Sep/2010 21:46:35 wait
S 25/Sep/2010 21:45:55 wait
S 25/Sep/2010 21:47:55 wait
S 25/Sep/2010 21:46:50 wait
S 25/Sep/2010 21:46:25 wait
S 25/Sep/2010 21:46:45 wait
S 25/Sep/2010 21:46:00 wait
S 25/Sep/2010 21:46:55 wait
S 25/Sep/2010 21:45:45 wait
S 25/Sep/2010 21:46:35 wait
S 25/Sep/2010 21:45:45 wait
S 25/Sep/2010 21:46:55 wait
S 25/Sep/2010 21:47:40 wait
S 25/Sep/2010 21:46:50 wait
S 25/Sep/2010 21:46:20 wait
S 25/Sep/2010 21:46:20 wait
S 25/Sep/2010 21:47:15 wait
S 25/Sep/2010 21:45:40 wait
S 25/Sep/2010 21:47:25 wait
S 25/Sep/2010 21:46:55 wait
S 25/Sep/2010 21:47:55 wait
S 25/Sep/2010 21:47:00 wait
S 25/Sep/2010 21:47:30 wait
S 25/Sep/2010 21:47:50 wait
S 25/Sep/2010 21:46:40 wait
S 25/Sep/2010 21:46:35 wait
S 25/Sep/2010 21:47:25 wait
S 25/Sep/2010 21:47:45 wait
S 25/Sep/2010 21:47:35 wait
C 25/Sep/2010 21:40:09 wait
C 25/Sep/2010 21:42:51 wait
C 25/Sep/2010 21:39:59 wait
C 25/Sep/2010 21:40:02 wait
C 25/Sep/2010 21:46:42 wait
C 25/Sep/2010 21:40:29 wait
C 25/Sep/2010 21:40:45 wait
C 25/Sep/2010 21:47:35 wait
C 25/Sep/2010 21:40:19 wait
C 25/Sep/2010 21:40:30 wait
R 25/Sep/2010 21:47:20 wait
R 25/Sep/2010 21:47:20 wait
R 25/Sep/2010 21:47:30 wait
R 25/Sep/2010 21:47:35 wait
R 25/Sep/2010 21:47:25 wait
D 23/Sep/2010 09:31:01 wait
N 25/Sep/2010 21:44:45 wait
N 25/Sep/2010 21:43:40 wait
N 25/Sep/2010 21:44:45 wait
N 25/Sep/2010 21:45:50 wait
N 25/Sep/2010 21:46:55 wait
N 25/Sep/2010 21:46:55 wait
N 25/Sep/2010 21:46:55 wait
N 25/Sep/2010 21:38:15 wait
N 25/Sep/2010 21:43:40 wait
N 25/Sep/2010 21:40:25 wait
N 25/Sep/2010 21:35:00 wait
N 25/Sep/2010 21:31:45 wait
N 25/Sep/2010 21:42:35 wait
N 25/Sep/2010 21:39:20 wait
N 25/Sep/2010 21:44:45 wait
N 25/Sep/2010 21:45:50 wait
N 25/Sep/2010 21:45:50 wait
N 25/Sep/2010 21:41:30 wait
N 25/Sep/2010 21:15:34 wait
N 25/Sep/2010 21:42:35 wait
A 27/Sep/2010 07:29:45 wait

netxmsd: show queues
Condition poller : 0
Configuration poller : 0
Data collector : 0
Database writer : 0
Event processor : 0
Network discovery poller : 0
Node poller : 0
Routing table poller : 0
Status poller : 0

netxmsd: show stats
Total number of objects: 489
Number of monitored nodes: 33
Number of collectable DCIs: 855

netxmsd: show watchdog
Thread Interval Status
----------------------------------------------------------------------------
Item Poller 20 Not responding
Syncer Thread 130 Not responding
Poll Manager 60 Not responding

thread_dump.txt

Victor Kirhenshtein

Pohoze na issue 305 iz bugtrackera, no ja esche poizuchaju dump. Esli prichina ta-ze, to v 1.0.5 eto ispravleno, segodnja ili zavtra ja sdelaju build.

serstor

Спасибо, Виктор!
Есть ещё одна проблема, но уже с графическим отображением, она отчасти описана в топике https://www.netxms.org/forum/installation/going-back-in-graph-for-a-week-or-more-gives-timeout/. В моем случае, когда пытаюсь отобразить данные за месяц параметра, который опрашивается раз минуту, то получаю request timeout. Мониторинг системы, где установлен netxms, показал, что во время попытки отображения происходит 100% нагрузка на процессор процессом netxmsd, все остальное простаивает. Прямая выборка из Mysql базы происходит за 0,07 секунды. Подозреваю, что netxms слишком долго перемалывает все точки, которые надо отобразить, поэтому достигается timeout. Как я понимаю, для устранения этой проблемы, нужно наверное менять алгоритм визуализации данных. Будет ли решаться данная проблема в ближайших релизах?

EngineerN

Да, у меня таже проблема (падает сервер)и с теми же сообщениями, только сервер на XP и база скюлайт (версия 1.04). Раньше были такие проблемы, но очень редко.

serstor

Сервер опять упал. Файл с дампом прилагаю.

gdb.txt

Victor Kirhenshtein

Poprobujte versiju 1.0.5 - tam sdelani izmenenija dlja predotvraschenija deadlock'a pri rabote s DCI, dolzno pomoch'.

serstor

Установил 1.05. Сервер поработал неделю и сегодня упал. Dump прилагаю.

gdb.txt

Victor Kirhenshtein

Spasibo za dump, nashel esche odin deadlock. Budu dumat' kak ispravljat'...

serstor

Всегда пожалуйста. Буду ждать новых релизов, в которых этот баг исправится.

Victor Kirhenshtein

Выложил релиз 1.0.6, где этот баг должен быть исправлен (в теории). Протестируйте пожалуйста когда будет возможность.

serstor

Буду пробовать. Спасибо за оперативность!

NetXMS Forum

Падает сервер ()