Der native Video-Container von h.264 Streams ist ansich .mp4.
Es ist aber sowas von egal, ob der h.264 Stream in einem .mp4, .mkv, oder .avi Container steckt, einen Unterschied wird man da nicht merken.
Es liegt ganz einfach an den Einstellungen deines Encoders.
Kannst diese ja mal posten, dann helf ich dir gerne weiter.
Dazu machst du entweder einen Screen von den h.264 Encodereinstellungen selbst, oder du lädst dir das kostenlose Programm MediaInfo und jagst dort deine encodierte .mp4-Datei durch und kopierst die Encodereinstellungen.
DL: