[Modify] Polish it

websocket-sharp/Net/HttpListenerPrefixCollection.cs

@@ -146,12 +146,10 @@ namespace WebSocketSharp.Net
       if (_prefixes.Contains (uriPrefix))
         return;
 
-      _prefixes.Add (uriPrefix);
+      if (_listener.IsListening)
-
-      if (!_listener.IsListening)
-        return;
-
         EndPointManager.AddPrefix (uriPrefix, _listener);
+
+      _prefixes.Add (uriPrefix);
     }
 
     /// <summary>