Как написать тест для веб-скрещивания https? ⇐ JAVA

[Anonymous]

В Java я написал веб -скребок. Целевой веб -сайт очень динамичен, что затрудняет написание теста для моего веб -скребка. Веб -сайт представляет собой https (https://example.com/sub/moresub). Я пытался использовать Wiremock и Hoverfly без успеха. < /P>

Я уже написал тест для анализатора, но я хотел бы более мощный тест, потому что только тестирование парсера недостаточно. Мой код в веб-скрере, поэтому я думаю, что мне нужно что-то похожее на «Человек в середине», который перехватывает запрос на целевую страницу и вместо этого отправляет мой пользовательский ответ. Https web-scraper? " Вместо этого спрашиваю о "Человеке в середине и т. Д." Потому что я не знаю, является ли «Человек в середине» решением, и способны ли
издевательные библиотеки, такие как Wiremock, Mockito, Servercock и т. Д., И я просто не знаю, как их использовать. Я не знаю, есть ли у Java что -то вроде внутреннего прокси, которое можно установить с использованием свойств Java, или даже если есть лучшее решение. src = "https://i.sstatic.net/o9fgkhg1.png"/>
Что я сделал:
WireMockServer wireMockServer = new WireMockServer(
WireMockConfiguration.wireMockConfig()
.port(80) // HTTP port
.httpsPort(443) // HTTPS port
.enableBrowserProxying(true) // Proxy Mode
);

wireMockServer.start();

wireMockServer.stubFor(WireMock.get(WireMock.anyUrl())
.atPriority(1)
.willReturn(WireMock.aResponse()
.withStatus(200)
.withBody("mock response from WireMock")
.withHeader("Content-Type", "text/plain")
)
);

wireMockServer.stubFor(WireMock.any(WireMock.anyUrl())
.atPriority(10)
.willReturn(WireMock.aResponse()
.proxiedFrom("https://example.com")
)
);
< /code>
Он работает в конфигурировании прокси -кондитерского языка: < /p>
с прокси:

i используют Windows, так что параметры могут быть разными lines lines lines. curl < /p>
Я попытался настроить прокси в Java после этого стека Overlow Ответ: как мне настроить прокси для использования JVM
, но даже настройка -dhttps.proxy* Ответ, возвращенный из «Apache httpcomponents», является ответом. Wiremock ". < /P>
Использование Curl без настройки прокси с«--Proxy »возвращает удаленный ответ HTML.java.net.SocketException: Can't connect to SOCKS proxy:Connection refused: connect
at java.base/java.net.SocksSocketImpl.connect(SocksSocketImpl.java:359)
at java.base/java.net.Socket.connect(Socket.java:751)
at java.base/java.net.Socket.connect(Socket.java:686)
at java.base/java.net.Socket.(Socket.java:555)
at java.base/java.net.Socket.(Socket.java:356)
at com.intellij.rt.testng.RemoteTestNGStarter.main(RemoteTestNGStarter.java:45)

Process finished with exit code 130


Подробнее здесь: https://stackoverflow.com/questions/794 ... eb-scraper