Zum installieren brauchst du erstmal einen Modloader. Die bekanntesten sind hej0Mod, die Fortsetzung davon -> CanaryMod, und schließlich noch Bukkit. Einen von denen (hej0-Mod würde ich dir nicht empfehlen, da dieser ja nun veraltet ist) musst du installieren, wofür es viele gute Tutorials gibt. Verlinke dir gleich mal ein paar.
Dann werden erst die Plugins installiert. Ich nehme an, dass du weißt, wie ein Server (normal) gemacht wird, und in diesem Ordner wird das alles auch installiert

Bukkit würd ich dir empfehlen, wenn du auf viele, umfangreiche Plugins stehst, und Canary bzw. hej0-Mod wenn du eine (aufjedenfall mehr) funktionierende Plattform haben möchtest.
Zu kompliziert? Hier (brauche kein E*Gold, aber hübsches Angebot für die anderen

)