Daten Sync Invtervall

Moin moin,

ich hab da mal eine Frage die evtl. ganz einfach zu beantworten ist, ich aber evtl. einfach aufm Schlauch stehe.


Ich habe eine Website die 70% ihres Contents über eine externe API abruft,
die Daten die abgerufen werden, sind aber nicht ganz wenig und selbst mit Multi_Curl teilweise zu groß bzw zu Zeitlastig, als das es dem User beim Aktualisieren der Daten leider hin und wieder mal das Zeitglas vor die Linse haut. Jetzt ist meine frage, ist es evtl möglich, den Webserver so einzustellen oder aufzurüsten, dass er sich die Daten für die Website aktualisiert.
Habe da schon so Ideen, dass zbsp die URLS der anfragen einfach zwischen gespeichert werden (txt, ini file) und dann extern von einem Programm abgearbeitet werden, aber vielleicht gibt es ja interne Möglichkeiten.


Wäre cool wenn ihr da Ratschläge habt.


MFG
theredvex

Da bist du schon auf dem richtigen Weg, Daten immer wieder neu von einer externen API abzurufen ist nicht schön und dauert wie du ja gemerkt hast.Stattdessen solltest du (wie du schon geschrieben hast) die Daten bei dir zwischen speichern, jedoch würde ich kein txt oder ini file nehmen sondern eine Datenbank(Mysql).

Du holst dir die Daten also über die Datenbank beim Seitenaufruf, damit die Daten in der Datenbank auch aktuell zu der Externen Api bleiben musst du diese via Cronjob (ein PHP Script was immer wieder ausgeführt wird) schreiben.

Dieses Script holt sich einfach die Daten von der Api(diese Function solltest du ja momentan bei dem Seitenaufruf haben) und schreibst die in die Datenbank.

Je nachdem wie aktuell die Daten seien müssen, musst du natürlich den Cronjob öffters ausführen lassen.
Werden die Daten aber z.b. nur einmal täglich bei der externen API geändert kannst du den Cronjob auch nur einmal (vorzugsweise Nachts gegen 2 Uhr o.ä.) starten lassen.

So ich habe das jetzt soweit zum laufen bekommen, mein problem besteht jetzt nurnoch darin, dass wenn die Daten abgefragt werden, der normale Webbetrieb teils komplett zum erliegen kommt, so dass bei etwas schlechteren Geräten wie bspw. meinem Handy eine 408 angezeigt wird, der Server antwortet nicht mehr.

Ich rufe so ca. (jetzt kommt es auf die Userbreite an wieviele es später nutzen werden) 5 User und deren Eigenschaften vom Datenserver ab, das ganze funktioniert bei mir über Rollingcurl mit max 5 Anfragen zur zeit.


Um dem ganzen mal einen Namen zu geben click einfach [Only registered and activated users can see links. Click Here To Register...]

Ich die Daten per CSV oder JSON bereitstellen und sie dann per Ajax oder Websocket abfragen.

Es lohnt sich wahrscheinlich sogar noch einen Schritt weiter zu gehen und die Daten nicht nur auf dem Server, sondern direkt beim User zu cachen. Das verringert die Ladezeiten noch weiter.
(Die Aktualität lässt sich z.B. über einen timestamp verifizieren, ohne das jedesmal alle Daten neu geladen werden müssen.)

Das clientseitige Cachen lässt sich super einfach mit webSQL/indexedDB realisieren. Vielleicht lohnt es sich hier auch einmal einen Blick auf [Only registered and activated users can see links. Click Here To Register...] zu werfen.