Doppelte einträge - checker ?

04/07/2015 22:56 .DiviDi#1
Hallo,

Ich bin momentan auf der suche nach etwas das, doppelte Einträge entfernt.

Z.B. :

185.14.192.121:8085
191.101.54.14:8085
5.189.207.184:8085
185.14.192.121:8085

Dort kommt z.b. 2x die IP: 185.14.192.121:8085 vor,
das Tool diese dann erkennen und entfernen koennen, sodass es am ende so aussieht:

185.14.192.121:8085
191.101.54.14:8085
5.189.207.184:8085

kennt jmd. zufaellig so ein tool ?

freue mich über jede Hilfestellung

Gruß.
04/08/2015 00:38 Analysis'#2
Wie groß ist die Liste? Ich könnte mit Javascript/HTML oder PHP schnell ein Tool schreiben, wenn es sich lohnt.
04/08/2015 01:07 #Saiirex#3
Könnte es dir morgen oder übermorgen schreiben in c#
04/08/2015 02:29 snow#4
Code:
with open('ip_in', 'r') as ip_in:
	with open('ip_out', 'w') as ip_out:
		s = set()
		for ip in ip_in:
			h = hash(ip.rstrip())
			if h not in s:
				ip_out.write(ip)
				s.add(h)
Die Einrückung wird bestimmt zerstört. Da ich nicht weiß, wie groß die Dateien sind, wird nur der Hash in der Set-Datenstruktur gespeichert.
04/08/2015 02:31 Analysis'#5
Quote:
Originally Posted by snow View Post
Code:
with open('ip_in', 'r') as ip_in:
	with open('ip_out', 'w') as ip_out:
		s = set()
		for ip in ip_in:
			h = hash(ip.rstrip())
			if h not in s:
				ip_out.write(ip)
				s.add(h)
Die Einrückung wird bestimmt zerstört. Da ich nicht weiß, wie groß die Dateien sind, wird nur der Hash in der Set-Datenstruktur gespeichert.
Falls jemand spätere ähnliche Hilfe sucht, das geht auch alles viel einfacher mit Excel ;-)