Crawlen einer sicheren Website

Question

Wie kann ich eine Website mit SSL-Zertifikaten crawlen, wenn ich das möchte?

Ich weiß, es gibt die WebClient Klasse in C# und HttpWebRequest / HttpWebResponse aber welche Änderungen müsste ich vornehmen?

Answer 1

Sie brauchen nichts zu ändern, außer der URL, die mit "https" anstelle von "http" beginnen sollte.

Answer 2

Fügen Sie einfach Folgendes am Anfang Ihrer Bewerbung hinzu

    ServicePointManager.ServerCertificateValidationCallback += delegate(object sender,  X509Certificate certifcate, X509Chain chain, SslPolicyErrors sslPolicyErrors)
{
    return true;
};

Dadurch wird HttpWebRequest alle Zertifikate von den Servern akzeptieren.