Doppelte einträge - checker ?

[.DiviDi]

Hallo,

Ich bin momentan auf der suche nach etwas das, doppelte Einträge entfernt.

Z.B. :

185.14.192.121:8085
191.101.54.14:8085
5.189.207.184:8085
185.14.192.121:8085

Dort kommt z.b. 2x die IP: 185.14.192.121:8085 vor,
das Tool diese dann erkennen und entfernen koennen, sodass es am ende so aussieht:

185.14.192.121:8085
191.101.54.14:8085
5.189.207.184:8085

kennt jmd. zufaellig so ein tool ?

freue mich über jede Hilfestellung

Gruß.

[Analysis']

Wie groß ist die Liste? Ich könnte mit Javascript/HTML oder PHP schnell ein Tool schreiben, wenn es sich lohnt.

[#Saiirex]

Könnte es dir morgen oder übermorgen schreiben in c#

[snow]

with open('ip_in', 'r') as ip_in:
	with open('ip_out', 'w') as ip_out:
		s = set()
		for ip in ip_in:
			h = hash(ip.rstrip())
			if h not in s:
				ip_out.write(ip)
				s.add(h)

Die Einrückung wird bestimmt zerstört. Da ich nicht weiß, wie groß die Dateien sind, wird nur der Hash in der Set-Datenstruktur gespeichert.

[Analysis']

Originally Posted by snow

with open('ip_in', 'r') as ip_in:
	with open('ip_out', 'w') as ip_out:
		s = set()
		for ip in ip_in:
			h = hash(ip.rstrip())
			if h not in s:
				ip_out.write(ip)
				s.add(h)

Die Einrückung wird bestimmt zerstört. Da ich nicht weiß, wie groß die Dateien sind, wird nur der Hash in der Set-Datenstruktur gespeichert.

Falls jemand spätere ähnliche Hilfe sucht, das geht auch alles viel einfacher mit Excel ;-)