Du könntest "SW_HIDE" benutzen anstatt die 5.
Code:
' versteckt das Fenster
Const SW_HIDE = 0
also:
Code:
private void button1_Click(object sender, EventArgs e)
{
ShellExecute (0, "open", "http://www.google.de", "", "", 0);
}
oder du machst es mit SendMessage und dann holst du dir erst das Handle und dann sendest du "WM_CLOSE". Vielleicht hilft dir :

weiter.