Moin,
es ist nicht einfach so direkt eine Aussage zu treffen. Es gibt aber schon denkbare Gründe:
AV-Interaktion:
Falls du ein 3rd Party Antivirus installiert hast kann es vorkommen das Packets durch localhost geroutet werden um diese zu analysieren. Falls du also ein 3rd Party AV drauf hast: Evtl mal temporär deinstallieren (Abschalten reicht leider oftmals nicht, da trotzdem weiterhin teilweise aktiv).
Hintergrund-Prozesse checken
Deiner Beschreibung nach sind Interaktionen, die um dich herum passieren unverändert nur deine eigenen kommen sehr verzögert an. Es könnte dein Upload sein, der vollkommen ausgereizt ist für eine kurze Zeit. Hab dazu deinen Taskmanager auf und schau nach was dein Upload sagt, wenn du so einen Lagspike hast:
Wifi Connection
Falls du eine Wifi Connection nutzt: Hier kann es mit anderen Netzwerken zu Konflikten kommen, schau mal wie es mit einer Kabelverbindung ist oder Wechsel die Frequenz.
DS-Lite
Anbieter, wie Vodafone/Unitymedia nutzen sogenanntes Dual-Stack Lite (Nasty ****).
Sehr einfach ausgedrückt wird über das IPv6 Protokoll deine Daten zum ProviderServer gesenden, dort werden diese dann via IPv4 ins Internet gesendet und die Antwort kommt als IPv4 zurück und wird an dich wieder via IPv6 weitergeleitet. Das wird genutzt um mehrere Leute über eine IPv4 Adresse über das Internet anzubinden. Leider bedeutet das auch: Latenz und rate mal wer die Priorisierung der Daten steuert. Wenn das zutrifft bist du leider einfach ******.
Hier würde ich dir auch empfehlen, wie netHox schon sagte via mobile mal zu testen ob es sich besser und dann ggf. den Anbieter zu wechseln.