Nutz das preload Attribut. Wenn du es auf "none" stellst, lädt das Video nicht direkt, wenn du die Seite aufrufst.
HTML Code:
<video preload="auto|metadata|none">
Mehr dazu

.
Btw. YouTube nutzt keine direkten MP4 Dateien, um Videos abzuspielen. Du könntest ja in
MPEG-DASH reinschauen, aber das ist für dein Vorhaben wohl eher unnötig. Bei besagter Methode wird das Video in Segmenten vom Server requestet. Nichtsdestotrotz sollte dir die oben genannte Lösung weiterhelfen.