remove duplicate entries

[kholikt]

Hi,

I am doing some batch processing of a file that I dump from NNM. I only one to keep one unique entry based on the IP address. For example I need to run the following

www05_bck.abc.com ; 1.23.32.35 ; Critical
www05_bck.abc.com ; 1.23.32.35 ; Critical
uat01.abc.com ; 1.23.4.36 ; Critical
uat01.abc.com ; 1.23.4.36 ; Critical
uat01_ap1.abc.com ; 1.23.5.36 ; Critical
uat01_ap1.abc.com ; 1.23.5.36 ; Critical
uat01_ap2.abc.com ; 1.23.6.36 ; Critical
uat01_ap2.abc.com ; 1.23.6.36 ; Critical
uat01_bck.abc.com ; 1.23.32.36 ; Critical
uat01_bck.abc.com ; 1.23.32.36 ; Critical
hissta01.abc.com ; 1.23.4.37 ; Critical
hissta01.abc.com ; 1.23.4.37 ; Critical
hissta01_ap1.abc.com ; 1.23.5.37 ; Critical
hissta01_ap1.abc.com ; 1.23.5.37 ; Critical

into

www05_bck.abc.com ; 1.23.32.35 ; Critical
uat01.abc.com ; 1.23.4.36 ; Critical
uat01_ap1.abc.com ; 1.23.5.36 ; Critical
uat01_ap2.abc.com ; 1.23.6.36 ; Critical
uat01_bck.abc.com ; 1.23.32.36 ; Critical
uat01_bck.abc.com ; 1.23.32.36 ; Critical
hissta01.abc.com ; 1.23.4.37 ; Critical
hissta01_ap1.abc.com ; 1.23.5.37 ; Critical

[MarkSyder · Accepted solution]

uniq old_file new_file

Mark Syder (like the drink but spelt different)

[Muthukumar_5]

You can use like,

sort -u

hth.

[Yogeeraj_1]

hi,

i tried this:
==============
$ more 1.txt
www05_bck.abc.com ; 1.23.32.35 ; Critical
www05_bck.abc.com ; 1.23.32.35 ; Critical
uat01.abc.com ; 1.23.4.36 ; Critical
uat01.abc.com ; 1.23.4.36 ; Critical
uat01_ap1.abc.com ; 1.23.5.36 ; Critical
uat01_ap1.abc.com ; 1.23.5.36 ; Critical
uat01_ap2.abc.com ; 1.23.6.36 ; Critical
uat01_ap2.abc.com ; 1.23.6.36 ; Critical
uat01_bck.abc.com ; 1.23.32.36 ; Critical
uat01_bck.abc.com ; 1.23.32.36 ; Critical
hissta01.abc.com ; 1.23.4.37 ; Critical
hissta01.abc.com ; 1.23.4.37 ; Critical
hissta01_ap1.abc.com ; 1.23.5.37 ; Critical
hissta01_ap1.abc.com ; 1.23.5.37 ; Critical
$ uniq 1.txt 2.txt
$ more 2.txt
www05_bck.abc.com ; 1.23.32.35 ; Critical
uat01.abc.com ; 1.23.4.36 ; Critical
uat01_ap1.abc.com ; 1.23.5.36 ; Critical
uat01_ap2.abc.com ; 1.23.6.36 ; Critical
uat01_bck.abc.com ; 1.23.32.36 ; Critical
hissta01.abc.com ; 1.23.4.37 ; Critical
hissta01_ap1.abc.com ; 1.23.5.37 ; Critical
$


regards
yogeeraj

[Shyjith P K]

Hi

Use the "-d" option with "uniq" to list one copy only of each repeated line in the input file.

$ more test
www05_bck.abc.com ; 1.23.32.35 ; Critical
www05_bck.abc.com ; 1.23.32.35 ; Critical
uat01.abc.com ; 1.23.4.36 ; Critical
uat01.abc.com ; 1.23.4.36 ; Critical
uat01_ap2.abc.com ; 1.23.6.36 ; Critical
uat01_bck.abc.com ; 1.23.32.36 ; Critical
uat01_bck.abc.com ; 1.23.32.36 ; Critical
hissta01_ap1.abc.com ; 1.23.5.37 ; Critical
hissta01_ap1.abc.com ; 1.23.5.37 ; Critical
www05_bck.abc.com ; 1.23.32.35 ; Critical

$ uniq test
www05_bck.abc.com ; 1.23.32.35 ; Critical
uat01.abc.com ; 1.23.4.36 ; Critical
uat01_ap2.abc.com ; 1.23.6.36 ; Critical
uat01_bck.abc.com ; 1.23.32.36 ; Critical
hissta01_ap1.abc.com ; 1.23.5.37 ; Critical
www05_bck.abc.com ; 1.23.32.35 ; Critical

Note: There are 2 entries for "www05_bck.abc.com "

$ uniq -d test
www05_bck.abc.com ; 1.23.32.35 ; Critical
uat01.abc.com ; 1.23.4.36 ; Critical
uat01_bck.abc.com ; 1.23.32.36 ; Critical
hissta01_ap1.abc.com ; 1.23.5.37 ; Critical



Rgds
Shyjith

[Muthukumar_5]

You can also try as,

-- testfile--
your inputs

# sort -mu testfile
www05_bck.abc.com ; 1.23.32.35 ; Critical
uat01.abc.com ; 1.23.4.36 ; Critical
uat01_ap1.abc.com ; 1.23.5.36 ; Critical
uat01_ap2.abc.com ; 1.23.6.36 ; Critical
uat01_bck.abc.com ; 1.23.32.36 ; Critical
hissta01.abc.com ; 1.23.4.37 ; Critical
hissta01_ap1.abc.com ; 1.23.5.37 ; Critical

hth.