AI가 지어냈는지 확인하는 법

만든 쪽이 먼저 경고해 둔다

AI가 틀린 답을 내놓는다는 말은 사용자들 사이에서만 도는 이야기가 아닙니다. 약관에 적혀 있습니다.

OpenAI 이용약관의 정확성 항목은 이렇게 적습니다. 서비스가 실제 사람, 장소 또는 사실을 정확하게 반영하지 못하는 출력을 생성할 수 있다고요. 그리고 사용자가 동의해야 하는 항목으로 두 가지를 못 박습니다. 출력을 진실이나 사실 정보의 유일한 출처로 삼지 말 것, 그리고 이용하거나 공유하기 전에 사람의 검토를 거칠 것.

더 나아가 쓰지 말아야 할 자리도 열거합니다. 타인에 관한 신용, 교육, 고용, 주거, 보험, 법률, 의료 같은 중대한 결정에 쓰지 말라고요.

회사가 자기 제품 약관에 이만큼 적어 두는 건 흔한 일이 아닙니다. 이 항목들을 읽고 나면 답을 그대로 옮겨 붙이던 습관이 좀 달라집니다.

왜 알아채기 어려운가

틀린 답이 틀려 보이면 문제가 아닙니다. 문제는 맞는 답과 똑같은 어조로 온다는 것입니다.

사람은 대개 확신의 정도로 신뢰도를 가늠합니다. 잘 모르는 사람은 말끝을 흐리고 아는 사람은 단정하니까요. 그런데 이 신호가 여기서는 작동하지 않습니다. 확실한 것도 확실하지 않은 것도 같은 문장 구조로 나옵니다.

특히 위험한 조합이 있습니다. 내가 잘 모르는 분야를 물었을 때. 아는 분야라면 이상한 대목이 눈에 걸리는데, 모르는 분야는 걸릴 게 없습니다. 그래서 가장 도움이 필요한 자리에서 확인이 가장 어렵습니다.

그리고 형식이 그럴듯할수록 더 믿게 됩니다. 존재하지 않는 논문 제목과 저자와 연도가 갖춰진 목록은, 형식만 보면 진짜 인용 목록과 구분이 안 됩니다.

어디서 잘 지어내나

겪어보면 지어내는 자리에 패턴이 있습니다. 대체로 형식이 정해져 있고 세부가 많은 것들입니다.

가장 흔한 게 인용입니다. 논문이나 판례나 기사처럼 제목과 저자와 연도가 붙는 것들이요. 형식이 뻔하니 형식에 맞는 문자열을 만들기가 쉽고, 그렇게 나온 것은 진짜와 구분이 안 됩니다. 제목이 그럴듯하고 저자 이름이 그 분야 사람이면 더 그렇습니다.

두 번째는 조문이나 조항 번호입니다. 몇 조 몇 항이라고 붙으면 확인해봤겠거니 싶은데, 번호 자체가 만들어진 경우가 있습니다.

세 번째는 최신 정보입니다. 학습 시점 이후에 바뀐 제도나 가격이나 버전은 모를 수밖에 없는데, 모른다고 하는 대신 예전 값을 현재형으로 말하는 일이 생깁니다.

네 번째는 존재하지 않는 기능입니다. 어떤 도구에 그런 설정이 있느냐고 물으면, 있을 법한 이름의 설정을 만들어 설명하는 경우가 있습니다. 문서를 뒤져도 안 나와서 그제야 알아채게 되죠.

모른다고 말하게 만들 수 있나

어느 정도는 됩니다. 다만 기대만큼은 아닙니다.

모르면 모른다고 하라고 지시문에 넣어두면 확실히 달라집니다. 확인할 수 없는 것은 확인 불가라고 적어 달라는 문장을 붙이는 것만으로도 지어내는 빈도가 줄어듭니다.

그런데 이건 확률을 낮추는 장치이지 차단하는 장치가 아닙니다. 같은 지시를 넣어두고도 지어내는 경우가 남습니다. 그래서 지시문만 믿고 확인을 건너뛰면 결국 같은 자리로 돌아옵니다.

조금 더 나은 방법은 답의 형태를 바꾸는 것입니다. 정리해 달라고 하는 대신 원문에서 해당 대목을 찾아 그대로 인용하고 그다음에 설명하라고 시키는 식으로요. 인용을 먼저 요구하면 인용할 원문이 없을 때 그게 드러납니다.

출처를 붙이는 기능이 생긴 이유

이 문제를 다루려고 만든 쪽에서 내놓은 답이 검색을 붙이는 기능입니다. 모델이 아는 것으로 답하는 대신 지금 웹에서 찾아 답하게 하고, 어디서 찾았는지를 함께 돌려주는 방식이죠.

Google 문서는 이 기능이 실시간 웹 콘텐츠에 모델을 연결하며, 실제 정보에 응답을 근거 지어 환각을 줄이는 데 도움이 된다고 설명합니다. 그러면서 응답에 무엇이 함께 오는지 밝힙니다. 모델이 실제로 실행한 검색어, 그리고 본문의 특정 구간을 출처 주소에 연결하는 인용 표시입니다.

Anthropic 쪽도 서버에서 검색을 실행하고 인용된 결과를 같은 응답에 담아 돌려준다고 적습니다.

여기서 사용자가 챙길 것은 기능 이름이 아니라 그 부산물입니다. 어느 문장이 어느 주소에서 왔는지가 표시되면, 확인이 답 전체를 검증하는 일에서 링크 하나를 열어보는 일로 줄어듭니다.

검색을 붙였다고 끝나는 건 아니다

다만 이걸 만능으로 여기면 곤란합니다. 검색을 붙였다는 건 답이 어딘가에서 왔다는 뜻이지 그 어딘가가 믿을 만하다는 뜻이 아닙니다.

인용된 주소가 잘 모르는 블로그이거나 오래된 게시글일 수 있습니다. 그리고 원문에는 조건이 붙어 있는데 요약하는 과정에서 그 조건이 빠지는 경우도 흔합니다. 원문이 특정 버전에서만 그렇다고 적어둔 걸 그냥 그렇다고 옮기는 식으로요.

그래서 인용이 붙어 있을 때도 확인은 남습니다. 다만 확인 대상이 좁아집니다. 답 전체가 아니라 링크가 걸린 몇 문장, 그중에서도 내 판단이 걸린 문장만 열어보면 되니까요.

실무에서 쓰는 확인 순서

매번 전부 검증하는 건 현실적이지 않습니다. 대신 무엇을 확인할지 미리 정해두면 부담이 줄어듭니다.

숫자, 날짜, 고유명사, 조건. 이 넷이 지어내기 쉬운 자리이면서 틀렸을 때 손해가 큽니다. 반대로 설명의 흐름이나 정리 방식은 틀려도 대체로 눈에 걸립니다.

그리고 답을 받기 전에 확인이 쉬워지도록 물어보는 방법이 있습니다. 근거를 먼저 인용하게 하고, 못 찾으면 못 찾았다고 말하게 하는 것입니다. 확실한 것과 불확실한 것을 나눠 표시해 달라고 붙이는 것도 도움이 됩니다.

이렇게 물으면 답이 조금 길어지는 대신 확인 비용이 크게 줄어듭니다. 지어낸 대목은 대개 인용 단계에서 티가 나거든요.

결국 남는 건 사람 몫이다

약관이 사람의 검토를 거치라고 적어 둔 건 면책 문구만은 아닙니다. 지금 기술이 실제로 그 지점에 있습니다.

그렇다 보니 판단 기준을 하나 세워두면 편합니다. 이 답이 틀렸을 때 누가 곤란해지는가. 나 혼자 시간을 좀 버리는 정도면 대충 넘어가도 되고, 남에게 보내거나 결정의 근거가 되는 것이면 확인합니다.

회의록 요약이나 문장 다듬기처럼 원문이 내 손에 있는 일은 애초에 지어낼 여지가 적습니다. 반대로 모르는 것을 물어 그 답을 그대로 쓰는 경우가 가장 위험합니다. 같은 도구인데 쓰는 방식에 따라 위험이 전혀 다릅니다.

확인이 귀찮아서 그냥 쓰게 되는 날이 오는데, 그때가 사고가 나는 날입니다.

덧붙이면, 확인 습관은 도구를 안 믿는 태도와 다릅니다. 계산기를 쓰면서 자릿수를 한 번 보는 것과 비슷합니다. 계산기를 의심해서가 아니라 내가 잘못 눌렀을 수도 있어서죠.

AI도 그렇습니다. 대부분은 맞는 답을 주고, 틀리는 자리가 어디인지도 대체로 정해져 있습니다. 그 자리만 챙기면 됩니다.

확인이 오히려 느려질 때

확인하라는 말만 길게 했으니 반대쪽도 봐야 공평합니다. 모든 답을 검증하려 들면 도구를 쓰는 의미가 없어집니다.

그래서 앞서 말한 기준 — 틀렸을 때 누가 곤란해지는가 — 이 실용적입니다. 이 기준으로 보면 확인이 필요 없는 경우가 꽤 많습니다.

내가 이미 아는 분야에서 정리를 시킨 경우. 원문이 내 손에 있는 요약이나 번역. 형식을 다듬는 작업. 이런 것들은 결과를 보면 바로 판단이 됩니다.

반대로 확인이 반드시 필요한 경우는 대체로 셋입니다. 남에게 보낼 것, 결정의 근거가 될 것, 그리고 내가 판단할 수 없는 분야의 답.

그리고 확인 비용을 줄이는 방법이 있습니다. 애초에 확인하기 쉬운 형태로 답을 받는 것 — 앞 절에서 본 방식이죠. 근거를 먼저 인용하게 하면 확인 대상이 한두 문장으로 줄어듭니다.

요약하면 확인은 전부 하는 게 아니라 어디를 확인할지 정하는 일입니다. 그 판단이 익숙해지면 부담이 크게 줄어듭니다.

마지막으로 하나. 확인 습관이 몸에 붙으면 도구를 더 편하게 쓰게 됩니다. 어디가 위험한지 알면 나머지는 안심하고 맡길 수 있으니까요.

반대로 아무것도 확인하지 않거나 전부 의심하거나 하는 양극단이 가장 비효율적입니다. 앞은 사고를 부르고 뒤는 도구를 쓰는 의미를 없앱니다.

한 가지 덧붙이면, 같은 질문을 두 번 던져보는 것도 값싼 확인법입니다. 새 대화를 열어 똑같이 물었을 때 답이 크게 달라지면 그 대목은 모델이 확신하지 못하는 자리입니다.

확실한 사실은 몇 번을 물어도 같은 답이 나옵니다. 반대로 지어낸 인용은 두 번째에 다른 제목이 나오는 경우가 흔합니다. 원문이 없으니 매번 새로 만들어내는 것이죠.

완벽한 방법은 아닙니다. 잘못된 내용을 일관되게 반복하는 경우도 있으니까요. 다만 링크를 열어보기 전에 30초 만에 걸러낼 수 있는 방법이라 해볼 만합니다.

정리

• OpenAI 약관이 출력을 유일한 사실 출처로 삼지 말라고 직접 적어 두었다
• 약관은 공유 전에 사람의 검토를 거치라고 명시한다
• 틀린 답이 맞는 답과 같은 어조로 오기 때문에 알아채기 어렵다
• 검색을 붙이는 기능은 인용을 함께 돌려줘 확인 범위를 좁혀준다
• 인용이 붙어도 원문의 조건이 빠질 수 있어 확인은 남는다

출처

• OpenAI 이용약관
• Google AI for Developers Grounding with Google Search
• Anthropic Tool use with Claude