[Downtime] OVH & Reseller Hosting [Problems]

[αίίR7 :3]

yo,

wir ihr ja mitbekommen habt, ist ganz ovh + isgenug down, wird auch eingige zeit so weitergehen, grund dafür, laut den tasks etc.:

- Router vom network & rack's sind/ist down.
- Racks down
- E-Backup Server's down
- Rechenzentrum überlastet
- Dedizierte Server vom ovh selbst & seinen reseller isgenug sind ebenfalls nicht erreichbar.

ü. USA Proxy gelang es einigen wieder auf ihre server bzw. page zu connecten, wobei es immer noch probleme mit IPv4 gibt, IPv6 sollte wieder funzn.


Grund dafür ist, dass die netzwerke zusammen gefallen sind und es zu einer überlastung kam, da ich einge Personen selbst aus OVH sehr gut kenne, hab ich diese info's bekommen (sollten nun auch im board von OVH stehen)
zwischen 2-3 uhr nacht's sollte alles wieder reibungslos laufen.


ihr könnt in eurem interface nachsehen, in welchem rack sich euer server befindet, ob er down ist seht ihr hier:

> link via. pn

(hosting in frankreich)


"hier nochmal genaueres"

 Spoiler

fra-5 et th1-1 are defected. Not enough CPU.
We disabled the MPLS on all the backbone.


Comment by OVH - Saturday, 24 July 2010, 20:52PM

Jul 24 20:28:13 40g.fra-5-6k.routers.chtix.eu 623150: Jul 24 19:27:53 GMT: %FIB-2-FIBDOWN: CEF has been disabled due to a low memory condition.
Jul 24 20:28:13 40g.fra-5-6k.routers.chtix.eu 623151: It can be re-enabled by configuring "ip cef [distributed]"

Comment by OVH - Saturday, 24 July 2010, 20:54PM

We isolated fra-5.

Comment by OVH - Saturday, 24 July 2010, 20:57PM

ams-1 is down. The router is just back.

Comment by OVH - Saturday, 24 July 2010, 21:01PM

proxy arp disabled on the vss-2.

Comment by OVH - Saturday, 24 July 2010, 21:39PM

fra-5-6k is back. Cards are not yet properly back.
ams-1-6k is back, the same, it has yet rebooted a card.
ldn-1-6k it is a crash, we are fixing it through series cable, boot in progress
vss-2-6k the arp proxy is returned.

This is the worst backbone crash we've ever had in OVH ...
The domino effect on routers which has not rebooted a long time ago and that have a RAM split.

Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622981: Pool: Processor Free: 30087848 Cause: Memory fragmentation
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622982: Alternate Pool: None Free: 0 Cause: No Alternate pool
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622983: -Process= "IP RIB Update", ipl= 0, pid= 164
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622984: -Traceback= 4102AD28 41030958 410433E0 413C2D10 42289224 406417AC 42305768 409D2680 40983230 40983350
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622985: Jul 24 19:21:07 GMT: %FIB-3-NORPXDRQELEMS: Exhausted XDR queuing elements while preparing message for slot/cpu 1/0
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622986: -Process= "IP RIB Update", ipl= 0, pid= 164
Jul 24 20:21:29 40g.fra-5-6k.routers.chtix.eu 622987: -Traceback= 413C2DE0 42289224 406417AC 42305768 409D2680 40983230 40983350
Jul 24 20:21:46 40g.fra-5-6k.routers.chtix.eu 623015: Jul 24 19:21:11 GMT: %FIB-3-NOMEM: Malloc Failure, disabling DCEF
Jul 24 20:27:34 40g.fra-5-6k.routers.chtix.eu 623147: Jul 24 19:27:15 GMT: %C6KFIB-4-DISABLED: Hardware FIB forwarding disabled, reverting to only software forwarding.

It is time, to establish new routers generation.
It was expected but only in September (it has to be available)

Comment by OVH - Saturday, 24 July 2010, 21:44PM

We have removed a queue modification on the 10G in order to return the old values. We modified it this week to increase the buffers on the ports.
Apparently the router did not support correctly the option.


Comment by OVH - Saturday, 24 July 2010, 21:47PM

fra-5: some problems yet:
Jul 24 20:30:53 GMT: %TFIB-SP-7-SCANSABORTED: TFIB scan not completing. MAC string updated.
-Traceback= 40E40578 40E40904 40F1664C 40E18AD8 40E19078 40DFF760 40DFFB7C 40DFFE58 40E00AD8
Jul 24 20:31:11 GMT: %TFIB-DFC4-7-SCANSABORTED: TFIB scan not completing. MAC string updated.
-Traceback= 20F6AE38 20F6B1C4 2103E87C 20F43398 20F43938 20F2A020 20F2A43C 20F2A718 20F2B398
Jul 24 20:31:14 GMT: %TFIB-DFC1-7-SCANSABORTED: TFIB scan not completing. MAC string updated.
-Traceback= 20F6AE38 20F6B1C4 2103E87C 20F43398 20F43938 20F2A020 20F2A43C 20F2A718 20F2B398
Jul 24 20:31:15 GMT: %TFIB-DFC5-7-SCANSABORTED: TFIB scan not completing. MAC string updated.

Comment by OVH - Saturday, 24 July 2010, 21:47PM

Jul 24 21:32:47 40g.fra-5-6k.routers.chtix.eu 418: Jul 24 20:32:27 GMT: %C6KPWR-SP-4-DISABLED: power to module in slot 8 set off (Module Failed SCP dnld)

Comment by OVH - Saturday, 24 July 2010, 21:47PM

Jul 24 21:33:07 160G.rbx-1-6k.routers.ovh.net 48924: Jul 24 20:32:47 GMT: %DIAG-SP-3-TEST_FAIL: Module 9: TestMacNotification{ID=13} has failed. Error code = 0x1

Comment by OVH - Saturday, 24 July 2010, 21:48PM

We are booting card by card
fra-5-6k(config)#no power en module 2
fra-5-6k(config)#no power en module 7
fra-5-6k(config)#no power en module 8
fra-5-6k(config)#no power en module 9

Comment by OVH - Saturday, 24 July 2010, 21:48PM

Jul 24 21:37:20 40g.fra-5-6k.routers.chtix.eu 707: Jul 24 20:36:57 GMT: %IPACCESS-2-NOMEMORY: Alloc fail for acl-config buffer. Disabling distributed mode on lc
Jul 24 21:37:20 40g.fra-5-6k.routers.chtix.eu 708: Jul 24 20:36:57 GMT: %IPACCESS-2-NOMEMORY: Alloc fail for acl-config buffer. Disabling distributed mode on lc
Jul 24 21:37:20 40g.fra-5-6k.routers.chtix.eu 709: Jul 24 20:36:58 GMT: %FIB-3-NOMEM: Malloc Failure, disabling DCEF

Comment by OVH - Saturday, 24 July 2010, 21:48PM

Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 718: Jul 24 20:37:26 GMT: %SYS-2-MALLOCFAIL: Memory allocation of 64 bytes failed from 0x420B35A8, alignment 8
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 719: Pool: Processor Free: 0 Cause: Not enough free memory
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 720: Alternate Pool: None Free: 0 Cause: No Alternate pool
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 721: -Process= "Tag Control", ipl= 0, pid= 278
Jul 24 21:37:55 40g.fra-5-6k.routers.chtix.eu 722: -Traceback= 4102AD28 410315F0 420B35B0 420B4960 420BBF90 421EFA60 420BD978 420B7760 420BB770

[SergeantPleXuS]

Danke für die Infos.
Jetzt weiß man wenigstens was genau das Problem ist.

[ciao123]

meiner ist online

[αίίR7 :3]

yo, manche gehen auch ab&zu, trotzdem wird's weitere downtimes geben weil alle aktuellen probleme noch nich gefixxt sind

[.Link]

Joap jedes Netzwerk bricht mal zusammen x)

[XxxXHakanXxxX]

meine ist auch on

[αίίR7 :3]

Originally Posted by XxxXHakanXxxX

meine ist auch on

du hast nich mal 'n server & prahlst er nur rum. (sorry, ist aber so)

> alles sollte nun wieder laufen wie es im forum von ovh steht, morgen wirds noch kleine wartungen geben u. evntl. werden wieder paar ausfälle stattfinden.

[.Link]

Joap Danke MsI


Läuft wieder alles perfekt x)