scrap URL 조회 시 og:title 은 정상동작 하고, og:image 만 불러오지 못하는 케이스가 있어 확인해보니
https://devtalk.kakao.com/t/topic/42818
여기에 작성해주신 IP 대역대 이외에도
203.133.180.0/24 대역대가 확인되고 있습니다.
해당 IP 도 해제해야 하는것인지 추가 확인 부탁드립니다.
203.133.180.71 - - [12/Jan/2022:21:20:40 +0900] “GET /…/…/assets/images/logo.jpg HTTP/1.1” 400 226 “http://www.toolsmart.co.kr/../../assets/images/logo.jpg” “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36” www.toolsmart.co.kr KR
안녕하세요.
해당 케이스 URL알려주시겠어요?
현재는 IP 제한을 해제해서 정상적으로 이미지 스크랩이 가능하지만, 이전에 이미지만 노출되지 않았는데
다른 서버랑 차이점을 확인해보니 아래 IP 대역이 차단되어있었습니다.
정상 로그를 첨부해드리면
210.220.70.250 - - [24/Feb/2022:09:24:33 +0900] “GET / HTTP/1.1” 200 8517 “-” “facebookexternalhit/1.1; kakaotalk-scrap/1.0; +https://devtalk.kakao.com/t/scrap/33984” hyemi220215.firstmall.kr KR
210.220.74.253 - - [24/Feb/2022:09:24:34 +0900] “GET / HTTP/1.1” 200 8517 “-” “facebookexternalhit/1.1; kakaotalk-scrap/1.0; +https://devtalk.kakao.com/t/scrap/33984” hyemi220215.firstmall.kr KR
211.231.106.23 - - [24/Feb/2022:09:24:34 +0900] “GET /data/icon/favicon/snslogo.jpg?1645662274 HTTP/1.1” 200 61928 “http://hyemi220215.firstmall.kr/data/icon/favicon/snslogo.jpg?1645662274” “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36” hyemi220215.firstmall.kr KR
위 정상로그에는 211.231.106.23 에서 snslogo.jpg 이미지를 바로 긁어가는데,
이미지를 가져가지 못한 도메인은 203.133.180.71, 203.133.180.22 IP 차단되어있어서 이미지를 긁어가지 못했고
IP 차단 해제 후에는 정상적으로 이미지를 가져갔습니다.
확인해보니 203.133.180.0/24 대역대는 섬네일 구성을 위한 서버의 IP 가 맞습니다.
하지만, 스크랩 서버와 달리 섬네일 구성을 위한 접근은 일반 사용자와 동일한 User-Agent로 접근하고 있습니다.
(User-Agent에 따라 다르게 결과를 출력 하는 경우가 있어서 실제 사용자와 동일한 섬네일 구성을 위해)
혹시, 제공하시는 스크랩은 특정사용자에게 제한적으로 제공하시는 걸까요?
섬네일 구성을 위한 접근을 별도 IP 분류하지 마시고 해당 이미지 접근하는 일반 사용자와 동일하게 취급하면 좋을 것 같은데요.
(섬네일 구성 서버 IP 가 변경 예정에 있기도 합니다.)
그렇게 처리하는데, 다른 어려움이 있으실까요?
