А какая точно версия NetXMS?
Можно на лету поднять ненадолго уровень дебага до 7 уровня:
nxadm -c "debug 7"
и попробовать отправить письмо. Потом опустить дебаг обратно
nxadm -c "debug 0"
Возможно, в логе будет что-то интересное.
Еще, как вариант, поснифить обмен с 25 портом на localhost с помощью Wireshark.
