카카오 koGPT 의 채팅 활용 기능에 대해서 문의 사항이 있습니다.
개발자 문서에서 채팅에 대한 REST API를 확인했습니다.
그런데 대화를 이어서 하는 부분에 대한 가이드가 없어서 이에 대해서 질문을 드립니다.
https://developers.kakao.com/docs/latest/ko/kogpt/rest-api#sample-chat
예를 들어
첫번째 요청에서 prompt 에 사용자의 기본 정보를 넣고 질문을 하고,
두번째 요청에서는 첫번째 요청에 대한 결과와 첫번째 요청 prompt에 등록된 내용을 바탕으로 이어서 답변을 하는 기능입니다.
안녕하세요, 카카오브레인 Carl 입니다.
먼저 KoGPT에 관심을 가져주셔서 감사합니다.
문의 주신 대화하기 예시에 대해 설명해드리겠습니다.
prompt='''정보:거주지 서울, 나이 30대, 성별 남자, 자녀 두 명, 전공 인공지능, 말투 친절함
정보를 바탕으로 질문에 답하세요.
Q:안녕하세요 반갑습니다. 자기소개 부탁드려도 될까요?
A:안녕하세요. 저는 서울에 거주하고 있는 30대 남성입니다.
Q:오 그렇군요, 결혼은 하셨나요?
A:'''
위와 같은 프롬프트를 통해 답변이 생성된 경우, 채팅을 이어서 하기위해 다음 Request에 다음과 같이 프롬프트를 구성해주시면 됩니다.
prompt='''정보:거주지 서울, 나이 30대, 성별 남자, 자녀 두 명, 전공 인공지능, 말투 친절함
정보를 바탕으로 질문에 답하세요.
Q:안녕하세요 반갑습니다. 자기소개 부탁드려도 될까요?
A:안녕하세요. 저는 서울에 거주하고 있는 30대 남성입니다.
Q:오 그렇군요, 결혼은 하셨나요?
A:[생성된 답변 - 예시: 네 결혼은 했습니다.]
Q:[새로운 질문]
A:'''
일반적으로 Few-shot Prompt가 개행문자(’\n’)로 구분되었기 때문에,
생성된 답변에서 개행문자로 구분하여 첫 번째 부분을 답변으로 활용하시는게 좋습니다.
추가로 문의사항이 있다면 편하게 남겨주세요
감사합니다.
Carl 님 답변 감사드립니다.
그런데 위와 같은 형식으로 API를 사용할 경우 대화가 길어지면
결국 prompt 에 대한 분석 시간 증가 & 전달 데이터 증가가 문제가 되지 않을까요?
혹시 다른 방법은 없을까요?
현재 제공되는 kogpt 의 한계라면, 추후 이런 부분을 고려해서 기능 확장이 됐으면 합니다.
KoGPT 의 결과 생성 시간은 생성하는 결과의 길이와 상관관계가 있어,
입력되는 Prompt의 길이가 미치는 영향은 크지 않습니다.
위에 추천드린 사용법은 GPT계열에 활용되는 일반적인 Prompt 구성법임을 참고해주세요.
혹시 테스트 해보시고, 수행시간이 너무 오래걸리는 경우 한번 더 문의주시면 확인해보겠습니다!
감사합니다.