Enterprise Manager - не показатель имхо, я не знаю как он ходит в базу, но вполне возможно, что не через sqlnet. Для начала удостоверьтесь, что работает статндартная схема подключения - через, скажем, sqlplus. Запустите коммандную строку (cmd.exe), из нее:
sqlplus NETXMS/NETXMS@NXDB
(естесно заменив на ваши параметры). Если sqlplus-ом подключиться удалось, то переходим к NetXMS:
Удаляем юзера и схему NETXMS (через тот же Enterpise Manager) и пересоздаем заново (на случай, если Configuration Wizard там уже что-то сделал). Ролей должно хватить CONNECT и RESOURCE, DBA ему не нужен.
Заполняем схему структурами и данными из командной строки:
nxdbmgr -c C:\netxmsd.conf init C:\NetXMS\lib\sql\dbinit_oracle.sql
Если nxdbmgr прошел успешно, пробуем запустить сервер в режиме отладки:
netxmsd -c C:\netxmsd.conf -D 9
Если сервер запустился и работает - все в порядке, если вышел, то постим лог сюда и пробуем разобраться