맞습니다. InfoWindow에는 간단히 닫기 버튼을 올릴 수 있습니다.
하지만 보셨다시피… 그 와꾸가 별로 예쁘진 않아요.
결국 많은 사용자분들이 내부 Content의 스타일을 자유롭게 지정할 수 있는 CustomOverlay를 사용하시는데
그 때에는 아래 링크들을 참조를 참조해 주시면 되겠습니다.
http://apis.map.daum.net/web/sample/removableCustomOverlay/
https://devtalk.kakao.com/t/topic/41602/5?u=doji.doo
뭐 기본 제공되는 스타일이라도 문제 없다 하시면 상관없지만요 