안녕하세요.
카카오계정 의 공유 디버거를 사용하여 아래 주소들을 디버깅하면, Invalid URL 에러가 발생합니다.
https://holix.com
https://holix.com/ch/AWg2l3w1
https://holix.com/course/school/LK48
그런데 공유 디버거를 사용했을 때, kakaotalk-scrap/1.0 등의 user agent로 저희 서버 (Azure Frontdoor)에 로그가 남지 않는 것으로 보아 스크랩서버에서 저희 서버에 연결이 되지 않고 있는 것 같습니다.
5월 3일까지는 kakaotalk-scrap/1.0 등의 user agent로 접속을 한 기록이 많이 있지만, 5월 4일부터는 이 로그가 많이 줄어들었습니다.
어떤 이유로 잘 되지 않는지 궁금합니다.
감사합니다.
안녕하세요.
스크랩 관련 부서에 문의해두었습니다. 피드백 오는데로 공유드리겠습니다.
감사합니다.
스크랩 유관 부서에서 다음과 같이 피드백 주셨습니다.
해당 URL들을 몇번 테스트 해보니 동일한 요청이 되었다가 안 되었다 하는 것으로 보입니다.
이 경우도 상대 사이트(Azure Frontdoor)에서 IP나 User-Agent에 따라 차단 정책이 적용되는지 확인이 필요해보입니다.
혹시, 방화벽에서 카카오 스크랩 서버 중 일부를 차단하고 있는지 확인 부탁드려요.
스크랩서버 IP 목록입니다.
방화벽에서 해당 IP에 대한 차단을 하지 않고 있었지만, 혹시나 해서 강제로 링크하신 글의 IP들을 허용하도록 했습니다.
오전에는 잘 되었는데, 방금전에 테스트를 하니 잘 안되네요 ;;
postman 으로 위 UA헤더 세팅해서 접근해보니 조회안되다 다시 또 조회되는 증상이 있고,
일반 브라우저처럼 UA헤더 세팅하니 조회가됩니다.
증상이 불특정하여 사이트 SSR(서버사이드랜더링)에 문제가 있을 것 같기도합니다.
제공하시는 서비스에 종속적인 문제로 추정됩니다.
답변 감사합니다.
테스트에 사용한 요청을 CURL 형태로 알려주실 수 있을까요?
curl로 호출하는것과 포스트맨 헤더 세팅해서 호출하는게 다르므로 테스트한 설정내역 공유드려요.
아래 내용은 브라우저로 https://holix.com에 접속하고 크롬 개발자 모드로 확인한 내용 대략 세팅했습니다.
현재는 둘다 접속 잘되네요.