Как обойти ddos ​​или перенаправление Cloudflare через 5 секунд с помощью JSOUP? ⇐ JAVA

[Anonymous]

Я пытаюсь получить список аниме на этом сайте, https://ww1.gogoanime.io

это код,

org.jsoup.Connection.Response usage = Jsoup.connect("https://ww1.gogoanime.io/anime-list-A")
.header("accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8")
.header("accept-encoding", "gzip, deflate, sdch, br")
.header("accept-language", "en-US,en;q=0.8")
.header("cache-control", "max-age=0")
.header("user-agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36")
.header("upgrade-insecure-requests", "1")
.ignoreHttpErrors(true)
.followRedirects(true)
.method(Connection.Method.GET)
.timeout(30000)
.execute();

System.out.println(usage.parse());


Этот код работает для других веб-сайтов, однако на этом сайте результатом является защита Cloudflare от DDOS
Я добавил все заголовки, но Chrome может без проблем получить доступ к этому URL-адресу.

Кстати, если бы я не устанавливал,

ignoreHttpErrors(true)


на true, это вызовет исключение 503. Независимо от того, что я делаю, оно не исчезнет, ​​пока я не изменю это значение на true. Итак, я застрял на странице защиты от DDoS, на которой написано, что через 5 секунд произойдет перенаправление на веб-сайт.

Я тоже попробовал приведенный ниже код

org.jsoup.Connection.Response usage = Jsoup.connect("https://ww1.gogoanime.io/anime-list-A")
.header("accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8")
.header("accept-encoding", "gzip, deflate, sdch, br")
.header("accept-language", "en-US,en;q=0.8")
.header("cache-control", "max-age=0")
.header("user-agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36")
.header("upgrade-insecure-requests", "1")
.ignoreHttpErrors(true)
.followRedirects(true)
.method(Connection.Method.GET)
.timeout(30000)
.execute();

Thread.sleep(5000);

org.jsoup.Connection.Response usg = Jsoup.connect("https://ww1.gogoanime.io/anime-list-A")
.header("accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8")
.header("accept-encoding", "gzip, deflate, sdch, br")
.header("accept-language", "en-US,en;q=0.8")
.header("cache-control", "max-age=0")
.header("user-agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36")
.header("upgrade-insecure-requests", "1")
.ignoreHttpErrors(true)
.followRedirects(true)
.cookies(usage.cookies())
.method(Connection.Method.GET)
.timeout(30000)
.execute();


Это тоже не сработало. Мой браузер без проблем получает доступ к этому URL. Я думаю, это связано с jsoup?

кстати, я думал, что это что-то связано с сертификатами, поэтому я тоже использовал это. но это тоже не сработало.

TrustManager[] trustAllCerts = new TrustManager[] { new X509TrustManager() {
public java.security.cert.X509Certificate[] getAcceptedIssuers() {
return null;
}

public void checkClientTrusted(java.security.cert.X509Certificate[] certs, String authType) {
}

public void checkServerTrusted(java.security.cert.X509Certificate[] certs, String authType) {
}
} };

// Install the all-trusting trust manager
try {
SSLContext sc = SSLContext.getInstance("SSL");
sc.init(null, trustAllCerts, new java.security.SecureRandom());
HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
} catch (Exception e) {
throw new RuntimeException(e);
}


Подробнее здесь: https://stackoverflow.com/questions/434 ... sing-jsoup