공유 디버거에서 URL을 검색하면 Invalid URL 이라고 나옵니다

https://www.kf.or.kr/

해당관련된 링크를 카카오톡에 공유했을때 OG:Image가 잘보이다가 어느날 부터 보이지 않게되었습니다.

공유 디버거에서 URL을 조회하면 “Invalid URL” 발생하고 있습니다.

아래 대역은 방화벽에서 차단되지 않은 것을 확인했습니다.

  • 211.231.103.0/24

  • 27.0.238.0/24

서버 로그를 확인해보니 User-Agentfacebookexternalhit/1.1;인 요청은 정상적으로 유입되고 있으며, 해당 요청에 대해서는 HTML 문서 전체가 정상적으로 응답되는 것도 확인했습니다.

근데도 공유하면 되지 않아서 확인부탁드립니다.

감사합니다.

안녕하세요.

카카오 스크랩서버가 해당 사이트에 접근하면 아래와 같이 응답을 주고 있습니다.

확인 부탁드려요.

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<HTML>

<HEAD>
	<TITLE> 302 Found </TITLE>
</HEAD>

<BODY>
	<H1>Found</H1>
	<HR>
</BODY>

</HTML>

웹방화벽은 다 허용되어 있는데

대역말고 WAF/보안장비에서 Kakao scraper(User-Agent) 요청을 차단하거나
리다이렉트 처리하고 있는지 확인이 필요할까요?

네, 카카오에서는 운영하시는 시스템 어느 경로에서 차단하는지 알 수 없는데요.

웹서버에서 따로 처리하는 부분이 없다면 네트워크/방화벽 레벨에서 한번 검토 해보시면 좋을 것 같습니다.

가능하시다면 스크랩 봇이 받은 302 응답의 Location 헤더(리다이렉트 대상 URL) 또는 최종 접근 URL을 알려주실 수 있을까요?

아쉽지만, 스크랩봇은 프록시 서버를 통해 호출되며 데브톡에서는 해당 정보 접근 권한이 없습니다.

안녕하세요.

추가로 몇 가지 궁금한 점이 있어 문의드립니다.

  1. 스크랩봇이 URL에 접근하여 메타데이터를 수집할 때, 요청은 웹 서버(Web Server)까지만 처리되는 것인지, 아니면 WAS(Web Application Server)까지 전달되어 응답을 받아오는 방식인지 궁금합니다.

  2. 카카오톡에서 URL을 공유하면, 미리보기(스크랩) 정보는 카카오 서버가 대상 URL에 직접 접근하여 생성하는 것으로 이해하고 있습니다. 이후 사용자가 공유된 링크를 클릭했을 때에는 카카오 서버를 거치는 것이 아니라 사용자의 기기에서 해당 URL의 서버로 직접 요청이 전달되는 것이 맞는지 궁금합니다.

  3. 이전 답변에서 "스크랩봇은 프록시 서버를 통해 호출된다"고 말씀해 주셨는데, 여기서 말씀하신 프록시 서버는 어떤 의미인지 궁금합니다.

  • 카카오 내부의 네트워크 프록시 또는 게이트웨이 서버를 의미하는 것인지,

  • 아니면 스크랩 요청을 대신 전달하는 별도의 프록시 서버를 의미하는 것인지 설명 부탁드립니다.

추가로 현재 카카오톡 공유하기를 시도하면 Error Code 5001이 발생하고 있습니다.
혹시 이 오류가 스크랩봇이 OG(Open Graph) 정보를 정상적으로 수집하지 못해서 발생하고 있는건가요?

감사합니다.

안녕하세요.

  1. 스크랩봇이 URL에 접근하여 메타데이터를 수집할 때, 요청은 웹 서버(Web Server)까지만 처리되는 것인지, 아니면 WAS(Web Application Server)까지 전달되어 응답을 받아오는 방식인지 궁금합니다.

운영하시는 서비스 구현에 따라 다릅니다.
일반적으로는 웹서버 사용자 요청과 다를바 없습니다.

  1. 카카오톡에서 URL을 공유하면, 미리보기(스크랩) 정보는 카카오 서버가 대상 URL에 직접 접근하여 생성하는 것으로 이해하고 있습니다. 이후 사용자가 공유된 링크를 클릭했을 때에는 카카오 서버를 거치는 것이 아니라 사용자의 기기에서 해당 URL의 서버로 직접 요청이 전달되는 것이 맞는지 궁금합니다.

맞습니다.

  1. 이전 답변에서 "스크랩봇은 프록시 서버를 통해 호출된다"고 말씀해 주셨는데, 여기서 말씀하신 프록시 서버는 어떤 의미인지 궁금합니다.

카카오톡에 URL을 입력하면, 해당 URL의 OG 태그 조회를 위해 접근하는 카카오측의 서버이며 카카오에서 외부로 나갈때 카카오측 프록시서버를 통해 호출이된다는 의미입니다. (운영하시는 서비스에서는 카카오측 프록시 여부를 판단할 필요는 없습니다. 로그 제공이 불가능하다는 내용 설명위해 안내드린 내용입니다.)


Error Code 5001 은 아래 내용 참고 하셔서 점검 부탁드려요.

https://developers.kakao.com/docs/ko/kakaotalk-share/faq#5001

감사합니다.

도움주셔서 감사합니다! 항상 즐거운 하루 보내시길 바랍니다!

1개의 좋아요