AI마다 답이 다릅니다

같은 질문에도 답이 매번 다릅니다

AI는 검색엔진처럼 고정된 순위표를 갖고 있지 않습니다. 질문의 미세한 표현, 대화의 앞뒤 맥락, 그날의 상태에 따라 답이 달라집니다.

그래서 한 번 물어보고 "우리 나온다"거나 "안 나온다"고 결론 내리면 그건 측정이 아니라 우연입니다.

실제로 같은 질문을 연속으로 세 번 던져보시면 답이 조금씩 다른 걸 바로 보실 수 있습니다. 이름이 나왔다 빠졌다 하기도 합니다.

판단하려면 질문 세트를 정해두고 같은 방식으로 반복해서 물어야 합니다. 그리고 그 추세를 봐야 합니다.

엔진마다 보는 곳이 다릅니다

엔진별로 답이 갈리는 건 참고하는 자료가 다르기 때문입니다. 다만 어느 엔진이 무엇을 얼마나 보는지는 공개돼 있지 않습니다. 업계에 도는 설명은 대부분 추정이고, 저희도 아직 재보지 않았습니다.

확실하게 말할 수 있는 건 하나뿐입니다. 네이버 AI 브리핑은 네이버 안의 문서를 씁니다. 그런데 네이버 블로그는 외부 AI 크롤러를 막아두었습니다. 이건 robots.txt로 확인되는 사실입니다.

즉 국내 판과 해외 판은 참고하는 자료 자체가 다릅니다. 나머지 차이는 직접 재보기 전까지 단정하지 않겠습니다.

이 글에서도 "어느 엔진이 유리하다"는 식의 이야기는 하지 않겠습니다. 근거가 없습니다.

먼저 볼 엔진을 고르는 기준

전부 챙기려 하면 아무것도 못 합니다. 고객이 어디서 묻는지부터 봐야 합니다.

사업 성격	먼저 볼 쪽	이유
동네 로컬 서비스	네이버 계열	지역 검색이 아직 네이버 중심
비교하고 사는 상품	해외 LLM 계열	비교·추천 질문이 그쪽에서 많이 일어남
B2B · 전문 서비스	해외 LLM 계열	담당자가 업무 중에 물어보는 경우
해외 판매가 섞임	해외 LLM 계열	국내 포털이 아예 개입하지 않음

이 표도 정답이 아니라 시작점입니다. 우선순위는 우리 고객이 실제로 쓰는 도구가 정합니다. 업계에서 많이 언급되는 순서가 아니라요.

가장 확실한 방법은 고객에게 직접 물어보는 것입니다. "어디서 알아보고 오셨어요"를 상담 때 한 번씩만 물어도 답이 쌓입니다.

한 곳에서만 나오면 아직 아닙니다

여러 엔진에서 고르게 나오기 시작하면 그건 우연이 아니라 우리 정보가 여러 경로에서 확인되고 있다는 신호입니다.

한 곳에서만 나온다면 아직 특정 경로에 걸린 것일 수 있습니다. 그 경로가 바뀌면 같이 사라집니다.

그래서 목표는 한 엔진에서 1등이 아니라 여러 곳에서 같은 답이 겹치게 만드는 것입니다.

한 곳에서만 하는 말은 주장이고, 여러 곳에서 겹치면 사실이 됩니다. 사람에게도 기계에게도 같습니다.

어떻게 재면 되나

재는 방식이 잡혀 있지 않으면 숫자가 나와도 쓸 수가 없습니다. 최소한 이 정도는 정해두셔야 합니다.

특히 마지막이 중요합니다. 시작점을 안 재두면 나중에 좋아졌는지 말할 수가 없습니다. 비교 대상이 없는 숫자는 숫자가 아닙니다.

질문은 한 번 정하면 바꾸지 않습니다. 도중에 질문을 바꾸면 그때부터 추세가 끊깁니다.

흔들림을 어떻게 볼 것인가

한 주 나왔다가 다음 주 빠지는 건 흔한 일입니다. 그걸 성과 하락으로 받으면 판단을 그르칩니다.

보셔야 할 것은 여러 주에 걸친 방향입니다. 전체적으로 나오는 횟수가 늘고 있는지, 질문 종류가 넓어지고 있는지.

한 주 결과에 일희일비하지 않으려면 기록이 필요합니다. 기억으로는 방향을 판단할 수 없습니다.

그리고 안 오르면 안 오른 대로 적어야 합니다. 좋은 주차만 남기면 그건 기록이 아니라 광고입니다.

정리하면

재는 방식을 먼저 세우는 것이 숫자를 만드는 것보다 앞섭니다.