-
og:url 태그에 다른 주소를 설정하면, 해당 주소를 스크랩 합니다. 호출 주소와 동일한 주소로 설정하거나 og:url 태그를 제거해주세요.
-
먼저 웹 서비스가 80,443 포트에서 동작하고 있는지 확인해주세요. 보안상의 이유로 80,443 포트만 스크랩을 허용하고 있습니다.
-
웹 서버에 요청시 응답코드로
200 OK
가 잘 나오고 있는지 확인해주세요. 웹 브라우져에서 테스트할 경우 301,302 응답은 알 수 없으니curl
이나 다른 REST 툴을 이용하시는게 좋습니다.-
200 OK
가 나오지 않을 경우 웹서버에서 user-agent 등을 검사하는 부분이 없는지 확인해주세요. 스크랩봇은facebookexternalhit/1.1;kakaotalk-scrap/1.0
user-agent 를 사용합니다.
-
-
위의 방법으로 200 응답(response)이 나오더라도 JavaScript나
meta
태그를 사용함으로써 다른 페이지로 이동시키는 부분이 없는지 확인해주세요. 이렇게 페이지 내에서 redirection 이 발생하면 스크랩이 올바르게 되지 않습니다. 스크랩용 html 태그들을(og:url 등의 태그) redirection 을 발생시키는 페이지에도 삽입해주면 스크랩이 잘 동작합니다. -
웹 서버에 요청 후 받은 reponse의 HTTP header에
content-type
이 올바른지 확인해주세요.content-type:text/html
으로 되어있지 않은 경우 스크랩이 안될 수 있습니다.
6개의 좋아요