HP server와 AIX client의 NFS error

[Tony, Lim]

NIS/NFS server로 HP rp5470 HPUX 11i를 사용중이며 client로 AIX 4.3.2를 사용중입니다.

client는 CAD 용으로 사용중이구요..

HPUX는 HP engineer가 setup후 별도로 patch를 하지는 않았습니다.

문제는 기존에 AIX server를 사용할 때는 NFS의 file을 read/write할 때 별 문제가 없었지만 HPUX로 NIS/NFS server를 migration하고는 NFS에 read/write시에 hang이 걸리기도 하고 time out되기도 하구요 평소와 달리 시간이 무지많이 걸립니다.

client에서 rpcinfo command로 확인해 보니 아래와 같은 결과가 나오는데 mountd 에 문제가 있는 것인가요?



root-rscw04:/# rpcinfo -u cwbksvr1 100000

program 100000 version 2 ready and waiting

program 100000 version 3 ready and waiting

program 100000 version 4 ready and waiting

root-rscw04:/# rpcinfo -u cwbksvr1 mountd

program 100005 version 1 ready and waiting

rpcinfo: RPC: Program/version mismatch; low version = 1, high version = 3

program 100005 version 2 is not available

program 100005 version 3 ready and waiting



CAD program에서 NFS를 사용중이어서 time out, hang 등으로 여간 불편한 것이 아닙니다. 거의 작업을 할 수 없는 지경이니까요.

해결방법을 좀 알려주시기 바랍니다.

[김병수]

글쎄요...



자세히는 모르겠지만 time out은 주로 rpc daemon과 관련이 있는것으로 알고 있습니다.



nfs daemon과 관련이 있는 것으로 판단이 되는대요..



patch를 check하여 보시기 바랍니다.

[Tony, Lim]

이와 같은 시스템을 부평/군산에서도 사용중입니다.

똑같이 HP rp5470 server에 AIX client를 사용중이며 server/client의 version도 같으며 patch를 적용하지 않은 것도 같은데 유독 제가 근무하는 창원에서만 이런 문제가 발생을 하는군요.

그것도 전체가 이런 것이 아니라 창원공장내 일부 network 환경에서 이런 현상이 있다는 것입니다.

sniffer로 network packet을 보면 hostname lookup을 못하는 것 같은데 NIS 쪽 문제인 것 같기도 하구요.. NFS쪽에서 hang이 걸리니까 nfs daemon 문제인 것 같기도 하구...

정확한 원인을 알 수 없으니 답답하네요.

그렇다고 server로 가동중인 장치를 이것저것 건드리기도 그렇구...T.T

좋은 답변 기다리겠습니다.

[고광태]

/etc/fstab 파일에 어떻게 되어있나요?



dns 서버를 사용하시나요?



nis 서버에서 인증이 혹시 느리게 되진않는지..



네트워크 부하가 많지 않는데 이런현상이 발생한다면..



nfs configuration 도 체크해보시기 바랍니다.

[Tony, Lim]

/etc/fstab의 내용입니다.

이중 /FLAT, /DCDM, /DATA 아래의 내용들을 nfs 연결해서 사용중입니다.



/dev/vg00/lvol3 / vxfs delaylog 0 1

/dev/vg00/lvol1 /stand hfs defaults 0 1

#/dev/vg00/lvol4 /tmp vxfs delaylog 0 2

#/dev/vg00/lvol5 /home vxfs delaylog 0 2

#/dev/vg00/lvol6 /opt vxfs delaylog 0 2

#/dev/vg00/lvol7 /usr vxfs delaylog 0 2

#/dev/vg00/lvol8 /var vxfs delaylog 0 2

/dev/vg00/GLOB /GLOB vxfs defaults 0 2 # GLOB filesystem

/dev/vg00/HOME /HOME vxfs defaults 0 2 # user home directory

#/dev/dsk/c3t2d0 /cdrom cdfs ro 0 0 # cdrom filesystem

/dev/vg01/MST1 /FLAT/MST1 vxfs delaylog 0 2

/dev/vg01/MST2 /FLAT/MST2 vxfs delaylog 0 2

/dev/vg01/WRK1 /FLAT/WRK1 vxfs delaylog,quota 0 2

/dev/vg01/WRK2 /FLAT/WRK2 vxfs delaylog 0 2

/dev/vg01/ALT1 /FLAT/ALT1 vxfs delaylog,quota 0 2

/dev/vg01/DATA /DATA vxfs delaylog 0 2

/dev/vg01/DCDM /DCDM vxfs delaylog 0 2

/dev/vg01/PRD8 /DCDM/PRD8 vxfs delaylog 0 2



DNS는 타 지역에 sun solaris로 구성되어 있구요...

client에서 name resolution은 /etc/hosts, nis, dns 순으로 되어있습니다.

AIX client에서 /etc/netsvc.conf의 내용을 hosts=local,nis,bind4 이렇게 적어놓았거든요.

dns server가 타 지역에 있어서 NIS로 name resolution을 하는 것이 좋을 것 같아서 이렇게 지정하였습니다.



NIS 인증이 오래걸리는 것 같지는 않습니다.

id / password를 입력하고 인증하는데 많이 기다리지는 않으니까요.



network load는 많지않은 편입니다.

해당 switching hub 쪽엔 CAD/CAM machine 들만 몇 대 정도 연결되어 있으니까요.



nfs configuration은 어디를 봐야할까요?

nfsd number는 16으로 해놨는데 이 외 수정해야할 parameter가 있나요?

[고광태]

서버 : nfsstat -s

클라이언트 : nfsstat -c



위의 명령어로 보면 rpc 문제인지 네트워크 문제 인지 알수있습니다.



그리고 nfs 에서 처리 하는 block 이랑 운영체제에서 처리하는 block 이다를경우 bottleneck 이 될수도 있구요..



네트워크 측면에서 현재 100FD 를 사용하는지..auto nego 를 사용하는지..100HD 로 되어있는지..



hp 에서는



# lanadmin -x 0 로 보시면 알수있습니다.



aix 는 알아보시기 바랍니다.

[Tony, Lim]

HP server에서 nfsstat -s 하면

Server rpc:

Connection oriented:

calls badcalls nullrecv

4628631 0 0

badlen xdrcall dupchecks

0 0 103216

dupreqs

0

Connectionless oriented:

calls badcalls nullrecv

2694 0 0

badlen xdrcall dupchecks

0 0 395

dupreqs

0



Server nfs:

calls badcalls

4631325 0

Version 2: (5089 calls)

null getattr setattr

6 0% 651 12% 7 0%

root lookup readlink

0 0% 3757 73% 49 0%

read wrcache write

424 8% 0 0% 95 1%

create remove rename

6 0% 9 0% 4 0%

link symlink mkdir

4 0% 0 0% 0 0%

rmdir readdir statfs

0 0% 62 1% 15 0%

Version 3: (4626236 calls)

null getattr setattr

592 0% 690354 14% 3936 0%

lookup access readlink

3179905 68% 74892 1% 2070 0%

read write create

544786 11% 91502 1% 2225 0%

mkdir symlink mknod

84 0% 0 0% 0 0%

remove rmdir rename

3277 0% 56 0% 1403 0%

link readdir readdir+

1003 0% 566 0% 20238 0%

fsstat fsinfo pathconf

1779 0% 558 0% 0 0%

commit

7010 0%



나옵니다.

client에서 nfsstat -c 하면

클라이언트 rpc:

Connection oriented

calls badcalls badxids timeouts newcreds badverfs timers

22115 0 0 0 0 0 0

nomem cantconn interrupts

0 0 0

Connectionless

calls badcalls retrans badxids timeouts newcreds badverfs

22 0 0 0 0 0 0

timers nomem cantsend

0 0 0



클라이언트 nfs:

calls badcalls clgets cltoomany

21841 0 0 0

버전 2: (0 calls)

null getattr setattr root lookup readlink read

0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%

wrcache write create remove rename link symlink

0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%

mkdir rmdir readdir statfs

0 0% 0 0% 0 0% 0 0%

버전 3: (21841 calls)

null getattr setattr lookup access readlink read

0 0% 1836 8% 14 0% 16600 76% 341 1% 28 0% 1632 7%

write create mkdir symlink mknod remove rmdir

1149 5% 11 0% 0 0% 0 0% 0 0% 19 0% 0 0%

rename link readdir readdir+ fsstat fsinfo pathconf

9 0% 8 0% 0 0% 89 0% 56 0% 17 0% 0 0%

commit

32 0%



나오구요.. 어느 부분에서 rpc 문제인지, network 문제인지 파악할 수 있는지 알려주시면 감사하겠습니다.

그리고..

network 담당하시는 분 말씀으로는 router에서 각 node 별 설정이 auto negotiation 으로 되어있다는군요. client는 10 MB half-duplex 이고 server는 100 MB Full-duplex AUTONEGO 입니다.

[Jongmin, Lee]

안녕하세요

이종민입니다.



우선 N/W설정에 문제가 있습니다.

NIC가 지원한다면, auto를 쓰지 마시고 100FDX로 fix하시기 바랍니다.



이 부분을 먼저 fix하시고, 테스트해보시기 바랍니다.



경험에 의하면, HP가 NFS가 상당히 약한모습을 많이 봤습니다.

/etc/rc.config.d/nfsconf 중 다음의 항목을 수정해보세요.



LOCKD_OPTIONS="-C"



그럼 좋은 결과가 있으시기를...