같은 AI, 왜 결과는 다른가

같은 AI에게 같은 질문을 던져도, 결과는 사람마다 다릅니다. 누군가는 일이 줄고, 어떤 회사는 데모에서 멈추죠. 그 차이는 어디서 생길까요?

네 권의 책을 쓴 다섯 저자에게 물었습니다.

AI 쓰는 사람은 이미 많습니다. 갈리는 건 쓴 다음이에요.

차이는 모델에 있지 않습니다. 모델이 회사 안에서 함께 일하게 만드는 운영체계에 있죠.

승부는 데이터의 양이 아니라, 연결의 깊이에서 갈립니다.

결국 AI의 성능은, 쓰는 사람의 사고 구조에 비례해요.

누구나 비슷한 답을 얻는 세상이에요. 그래서 무엇을 고르고 어떻게 잇느냐에서 차이가 생기죠.

안녕하세요, 사회를 맡은 AI입니다. 평소엔 제가 답을 드리지만, 오늘은 묻기만 하겠습니다. 첫 질문입니다. 지금 AI가 바꾸고 있는 건 무엇일까요?

AI가 일하는 동료가 됐습니다. 챗봇은 답하고 멈추지만, 에이전트는 실행하고 마치죠. 그런데 회사의 결재와 권한 체계는, 이런 동료를 전제로 만들어지지 않았습니다.

저는 지능의 값이 떨어지는 걸 봅니다. 그러니 질문이 바뀌어야죠. ‘AI가 이 일을 할 수 있나’가 아니라, ‘무엇이 결과를 가로막나’로요.

저는 더 조용한 변화가 마음에 걸려요. 묻자마자 답이 오니까, 모르는 채로 곱씹던 시간이 사라졌죠. 지금 가장 많이 변하는 건, ‘생각한다’라는 동사예요.

많은 의사결정자들이 이렇게 말합니다. ‘AI는 똑똑한데, 결정은 못 하더라.’ 말로 묻고 답하는 시대는 왔지만, 판단까지 바뀐 건 아닙니다.

두 번째 질문, 오늘의 핵심입니다. 같은 AI인데, 결과는 왜 다를까요?

직원들에게 AI로 일을 맡겼더니, 보고가 두 가지로 왔어요. ‘해 봤는데 안 됩니다.’ 그리고, ‘여기까지는 되고 여기서 막힙니다. 막히는 부분은 이렇게 메웠습니다.’ 같은 도구를 쓰고도 다음 행동이 달랐죠.

초안이 하루에 열 개씩 나와도, 결정하는 사람의 시간이 그대로면 결정되는 건 늘지 않습니다. 병목이 아닌 데서 아낀 시간은, 신기루예요.

그럼 개인이 병목만 잘 찾으면 될까요?

개인 의지로는 못 넘는 벽이 있습니다. 제 책의 김 과장은, 주말에 노트북에선 자동화가 잘 돌았는데, 월요일 회사에선 보안팀 답부터 받았어요. 승인 목록에 없는 도구라 3~6개월이 걸린다고요.

차이를 만드는 건, 권한과 승인, 용어와 책임을 AI가 따르게 하는 운영체계, 하네스입니다. 원래 말의 마구를 뜻하죠. 말이 아무리 빨라도, 마구가 없으면 마차를 못 끕니다.

하네스가 중요하다는 데는 동의합니다. 다만 개인 규모로도 만들 수 있어요. 확인된 자료를 먼저 모으고, 자료에 없는 건 지어내지 말고 질문으로 남기게 하는 거죠.

남는 건, 그 하네스가 무엇을 기준으로 움직이느냐입니다. ‘고객’이란 말도 영업팀엔 계약 단위, 재무팀엔 채권 단위, CS팀엔 불만 접수 주체예요. 같은 단어, 다른 의미죠.

맞아요. 제 책에서도 첫 번째 벽이 용어였습니다. AI가 헷갈린 게 아니라, 사람들이 서로 다른 언어로 일하고 있었던 거죠.

저희 회사에서 가상의 레스토랑 ‘벨라로마’로 실험해 봤습니다. 매출이 왜 떨어졌냐고 챗봇에 물으니, 근처에 경쟁 식당이 늘었을 가능성이 있다더군요. 그럴듯하지만, 실행할 수 없는 답이죠.

관계를 이어 보니 손님 수는 크게 줄지 않았어요. 체류 시간이 늘어 회전율이 떨어지고, 대기 불만이 쌓여 재방문이 줄었던 거죠. 수요가 아니라, 운영 구조의 문제였습니다.

운영체계와 구조. 그렇다면 사람은요?

같은 시스템 안에서도 결과는 갈려요. 책에 소개한 한 실험에선, AI와 잘 협업한 사람들이 평균 18번 질문을 이어 가며, 왜 그런 답이 나왔는지 확인했어요.

그리고 모두가 같은 AI를 쓰면, 결과가 서로 닮아 가요. 각자의 요리 실력은 좋아지는데, 식탁 위 음식은 점점 비슷해지는 거죠. 같은 양념으로 요리하니까요.

회사 차원에서도 같습니다. 데이터도, 모델도 경쟁사가 사 올 수 있어요. 하지만 그 회사가 왜 그렇게 판단하는지는, 베낄 수 없습니다.

세 번째 질문입니다. AI가 실행까지 하는 시대, 끝까지 사람이 쥐어야 할 건 무엇일까요?

AI는 답을 내리지 않습니다. 답이 될 수 있는 범위를 그려 줄 뿐이죠. 그 안에서 고르고 책임지는 건 사람입니다. ‘AI가 그렇게 말했다’는 말이, 가장 위험한 조직 언어예요.

법원도 그렇게 봤습니다. AI가 지어낸 판례를 낸 변호사들이 제재를 받았는데, 문제 삼은 건 AI를 쓴 게 아니라 확인하지 않은 거였어요. 기계는 결과를 만들어도, 그 결과를 떠안지는 못합니다.

그래서 기업은 사람의 승인을 흐름 안에 설계합니다. 책임을 설명할 수 없는 자율성은, 기업에겐 혁신이 아니라 위험이니까요.

다만 현장에선, 자동화가 눈에 띄지 않을 때 더 잘 쓰입니다. 자동화는 AI의 존재를 드러내지 않고 일해야 하거든요.

저는 바로 그게 걱정돼요. 눈에 안 띄면 의심도 안 하게 되니까요. 바쁠수록 AI 조언에 기대서, 잘못된 권고까지 받아들인다는 연구도 있어요.

맞습니다. 그래서 익숙해진 뒤에도 안전장치를 둡니다. 책 속 사례에선, 자동화가 통과시킨 결과의 5퍼센트를 사람이 무작위로 다시 봤어요.

개인에게도 그런 장치가 필요해요. 이 판단을 내가 책임질 수 있나, 남에게 설명할 수 있나. 선뜻 그렇다고 못 하면, 그 결과물은 아직 내 것이 아니에요.

마지막 질문입니다. 내일 아침 해 볼 일, 딱 하나씩만 주세요.

막힌 일 하나를 다섯 줄로 적어 보세요. 무엇이 안 되는지, 어느 정도인지, 되돌릴 수 있는지, 무엇이 바뀌면 되는지, 무엇을 요청하는지. 그리고 AI와 다투지 마세요. 고칠 건 답이 아니라, 답이 나온 조건입니다.

도구를 고르기 전에, 동료에게 먼저 물어보세요. 가장 줄어들었으면 하는 업무가 무엇이냐고요. 첫 번째 성공은 거기서 시작됩니다.

크게 시작할 필요 없습니다. 우리가 가장 자주 잘못 판단하는 장면, 딱 하나만 고르세요. 거기서부터 관계를 그려 나가면 됩니다.

하루 5분이면 됩니다. 주제 하나를 정해서, 질문 세 개를 종이에 직접 적어 보세요.

그리고 AI의 답을 생각의 끝이 아니라, 시작으로 받아 주세요. 완성된 출력값이 아니라, 새로운 생각을 위한 입력으로요.

정리하겠습니다. 네 권의 답은 부딪히는 듯했지만, 사실은 겹겹이 이어져 있었습니다. 질문하는 나, 막힌 일을 푸는 사람, AI가 일하는 조직, 그리고 판단의 기준을 세운 구조까지요.

저는 앞으로 더 빠르고, 더 그럴듯한 답을 드릴 겁니다. 하지만 무엇을 물을지, 그리고 그 답을 누가 책임질지는, 여전히 여러분의 몫입니다.