Register for your free account! | Forgot your password?

Go Back   elitepvpers > General > Main
You last visited: Today at 07:57

  • Please register to post and access all features, it's quick, easy and FREE!

 

EPVP*Stats - ElitePVPers Statistiken & Ränge & More

Closed Thread
 
Old   #76

 
elite*gold: 56
Join Date: Oct 2010
Posts: 3,410
Received Thanks: 1,219
Quote:
Originally Posted by C0kkie View Post
  • es werden momentan alle 5 Millionen Nutzer in die Datenbank eingetragen
Diese werden vermutlich aber nicht aktuell gehalten oder?



MrDami123 is offline  
Old   #77
Moderator





 
elite*gold: 70
The Black Market: 1740/0/0
Join Date: Aug 2011
Posts: 30,337
Received Thanks: 3,976
Quote:
Originally Posted by MrDami123 View Post
Diese werden vermutlich aber nicht aktuell gehalten oder?
Doch wird es


C0kkie is offline  
Old   #78

 
elite*gold: 56
Join Date: Oct 2010
Posts: 3,410
Received Thanks: 1,219
Die bisherige Programmierung war, soweit ich mich erinnere, auf eingetragene User bezogen. Sprich man hat sich eingetragen und der eigene Acc. wurde jede x Stunden (24h) aktualisiert und im Banner verarbeitet.

Es wurde dann von einigen bemängelt, dass nur die eingetragenen User in der Statistik gewertet wurden. Die Antwort, dass man alle regist. User nicht aktuell halten kann, ergibt auch Sinn.
Ich hatte in der Zeit selber ein Skript geschrieben, welches jeden User mittels "http://elitepvpers.com/forum/member.php?userid=" aufruft und die Daten extrahiert. Sehr schnell wurde ich vom DDos Filter abgefangen
Nach ein bisschen probierten bin ich mit einer Wartezeit von xSekunden pro xAufrufe zu einem kontinuierlichen Ergebnis gekommen. Das Manko ist, dass durch die begrenzten Aufrufe in einem Zeitintervall nur eine bestimmte Menge an Usern erfasst werden können. Eine schnelle Hochrechnung auf die 5,7 Millionen Nutzer ergibt eine mehr oder weniger gigantische Dauer, bis alle Nutzer einmal aktualisiert sind.

Das ist selbstverständlich mit einer Dauerbelastung von epvp verbunden, denn einmal aktualisiert beginnt es von vorne.
Um das zu umgehen sind mir nur zwei umsetzbare Möglichkeiten eingefallen:

Die einfachste und elegante Lösung wäre die Daten im Kooperation direkt von Epvp zu bekommen. Lokal auf dem Server verarbeitet und im json Format rüber gesendet. Niedrigste Traffic- und Serverauslastung für beide Seiten. Abgesehen von der Tatsache, dass dies eher unwahrscheinlich ist, bin ich mir nicht sicher, ob dies gesetzlich vereinbar wäre, ob wohl die Daten ja sowieso jedem offen stehen.

Die zweite Option ist eine Userkooperation. Dabei erklären sich freiwillige Epvp Mitglieder zu sogenannten Sammlern und lassen während sie auf epvp unterwegs sind ein Greasemonkey-Skript oder ein Desktoptool parallel laufen. Das Skript erkennt, wenn der Benutzer auf ein Profil geht, extrahiert die benötigten Daten und sendet diese an epvpStats Datenbank.


Die Methode ein Skript zu schrieben, welches über tausend Proxies parallel den Intervall der DDoS Protection umgeht und so innerhalb einer kurzen Zeitspanne alle Userdaten empfangen kann, ist gesetzlich schon ein DDoS Angriff.
MrDami123 is offline  
Old   #79

 
elite*gold: 0
The Black Market: 243/0/0
Join Date: Dec 2012
Posts: 12,891
Received Thanks: 7,936
Quote:
Originally Posted by MrDami123 View Post
Die bisherige Programmierung war, soweit ich mich erinnere, auf eingetragene User bezogen. Sprich man hat sich eingetragen und der eigene Acc. wurde jede x Stunden (24h) aktualisiert und im Banner verarbeitet.

Es wurde dann von einigen bemängelt, dass nur die eingetragenen User in der Statistik gewertet wurden. Die Antwort, dass man alle regist. User nicht aktuell halten kann, ergibt auch Sinn.
Ich hatte in der Zeit selber ein Skript geschrieben, welches jeden User mittels "http://elitepvpers.com/forum/member.php?userid=" aufruft und die Daten extrahiert. Sehr schnell wurde ich vom DDos Filter abgefangen
Nach ein bisschen probierten bin ich mit einer Wartezeit von xSekunden pro xAufrufe zu einem kontinuierlichen Ergebnis gekommen. Das Manko ist, dass durch die begrenzten Aufrufe in einem Zeitintervall nur eine bestimmte Menge an Usern erfasst werden können. Eine schnelle Hochrechnung auf die 5,7 Millionen Nutzer ergibt eine mehr oder weniger gigantische Dauer, bis alle Nutzer einmal aktualisiert sind.

Das ist selbstverständlich mit einer Dauerbelastung von epvp verbunden, denn einmal aktualisiert beginnt es von vorne.
Um das zu umgehen sind mir nur zwei umsetzbare Möglichkeiten eingefallen:

Die einfachste und elegante Lösung wäre die Daten im Kooperation direkt von Epvp zu bekommen. Lokal auf dem Server verarbeitet und im json Format rüber gesendet. Niedrigste Traffic- und Serverauslastung für beide Seiten. Abgesehen von der Tatsache, dass dies eher unwahrscheinlich ist, bin ich mir nicht sicher, ob dies gesetzlich vereinbar wäre, ob wohl die Daten ja sowieso jedem offen stehen.

Die zweite Option ist eine Userkooperation. Dabei erklären sich freiwillige Epvp Mitglieder zu sogenannten Sammlern und lassen während sie auf epvp unterwegs sind ein Greasemonkey-Skript oder ein Desktoptool parallel laufen. Das Skript erkennt, wenn der Benutzer auf ein Profil geht, extrahiert die benötigten Daten und sendet diese an epvpStats Datenbank.


Die Methode ein Skript zu schrieben, welches über tausend Proxies parallel den Intervall der DDoS Protection umgeht und so innerhalb einer kurzen Zeitspanne alle Userdaten empfangen kann, ist gesetzlich schon ein DDoS Angriff.
Die dritte Option ist man nutzt mehrere Server und lässt diese miteinander durch einen Hauptserver kommunizieren. Somit gibt es keine Probleme wegen zu viele Anfragen der selben IP und es geht immer noch recht schnell voran.


Requi is offline  
Thanks
1 User
Old   #80



 
elite*gold: 2647
The Black Market: 139/0/0
Join Date: Jun 2012
Posts: 18,747
Received Thanks: 9,194
Gibt's die Seite noch?
Ares is offline  
Old   #81
Moderator





 
elite*gold: 70
The Black Market: 1740/0/0
Join Date: Aug 2011
Posts: 30,337
Received Thanks: 3,976
Quote:
Originally Posted by Ares Zizou View Post
Gibt's die Seite noch?
Es wird noch was gefixxt und dann vermutlich bald an jemand neues abgegeben
C0kkie is offline  
Old   #82
 
elite*gold: 39
Join Date: Aug 2014
Posts: 105
Received Thanks: 5
Wann wrid die Seite wieder Online kommen?
.Edward is offline  
Old   #83

 
elite*gold: 1150
The Black Market: 1036/0/0
Join Date: Oct 2012
Posts: 12,551
Received Thanks: 746
Hab dort öfters vorbeigeschaut.
Freue mich, wenn die Seite bald wieder on kommt.
Ranodrol is offline  
Old   #84
 
elite*gold: 2813
The Black Market: 483/0/0
Join Date: Dec 2013
Posts: 11,504
Received Thanks: 358
Ich hoffe auch, dass das bald gefixt wird. Immer interessant..
Irie. is offline  
Old   #85
 
elite*gold: 59
Join Date: Dec 2013
Posts: 1,698
Received Thanks: 191
Bin auch mal wieder drauf gespannt ^^
-Triforce- is offline  
Old   #86
 
elite*gold: 2813
The Black Market: 483/0/0
Join Date: Dec 2013
Posts: 11,504
Received Thanks: 358
Ich hatte mich bereits angeboten das ganze zu über nehmen, habe auch die nötigen Kapazitäten dafür.
Irie. is offline  
Old   #87

 
elite*gold: 133
The Black Market: 282/0/0
Join Date: Feb 2013
Posts: 13,611
Received Thanks: 2,068
Laut C0kkies letztem Post wird sie bereits an jemanden abgegeben.

Schade, dass es so lange dauert.
Schakon is offline  
Old   #88

 
elite*gold: 56
Join Date: Oct 2010
Posts: 3,410
Received Thanks: 1,219
Hatte auch nachgefragt. Er meinte sie wird zum verkauf freigegeben und an den Höchstbietenden verkauft.
MrDami123 is offline  
Old   #89
 
elite*gold: 2813
The Black Market: 483/0/0
Join Date: Dec 2013
Posts: 11,504
Received Thanks: 358
Quote:
Originally Posted by MrDami123 View Post
Hatte auch nachgefragt. Er meinte sie wird zum verkauf freigegeben und an den Höchstbietenden verkauft.
Wenn es dann gefixt wird :-D
Irie. is offline  
Old   #90
 
elite*gold: 235
The Black Market: 153/0/0
Join Date: Nov 2012
Posts: 29,847
Received Thanks: 1,711
Wieso dauert das so lange? :/
Mochte die Seite richtig, war immer lustig zu lesen wenn Leute voll viele negative Bewertungen hatten, wann kommt denn die Seite wieder online, und wann ist denn die Sache "gefixt"?


Hawkk is offline  
Thanks
1 User
Closed Thread



« Previous Thread | Next Thread »

Similar Threads
EPVP*Stats - ElitePVPers Statistiken & Ränge
http://epvpstats.de/thread/Header_500.png Sehr geehrte Community, in diesem Thread werde ich euch das auf meiner Idee basierende und von mir...
302 Replies - Main



All times are GMT +1. The time now is 07:57.


Powered by vBulletin®
Copyright ©2000 - 2017, Jelsoft Enterprises Ltd.
SEO by vBSEO ©2011, Crawlability, Inc.

Support | Contact Us | FAQ | Advertising | Privacy Policy | Abuse
Copyright ©2017 elitepvpers All Rights Reserved.