인지 편향 (Cognitive Bias)
인간 인지의 적응적 편차와 AI·LLM의 알고리즘적 왜곡 · 체계적 판단 오류의 규명과 디바이아싱(Debiasing) 기술
AI와 LLM 분야의 인지 편향(Cognitive Bias): 발생 원리와 핵심 유형
AI와 LLM(거대 언어 모델)에게 인지 편향(Cognitive Bias)은 인간의 비합리적인 사고방식이나 편견이 모델의 학습 데이터와 알고리즘을 통해 그대로 학습되고 재현되는 현상을 의미합니다.
AI는 인간처럼 감정을 느끼거나 스스로 편견을 만들지 않습니다. 하지만 인간이 작성한 방대한 텍스트와 데이터를 학습하면서, 그 속에 담긴 인간의 편향된 시각과 논리적 오류를 수학적 패턴으로 흡수하게 됩니다.
AI와 LLM에서 인지 편향이 나타나는 원리
LLM은 인터넷의 수많은 글, 뉴스, 책 등을 학습합니다. 이 데이터에 특정 성별, 인종, 문화에 대한 고정관념이나 잘못된 정보가 포함되어 있으면 AI도 이를 사실이나 일반적인 패턴으로 학습합니다.
AI의 답변을 개선하기 위해 인간 평가자가 좋은 답변에 점수를 주는 과정을 거칩니다. 이때 평가자 본인의 인지 편향(예: 길고 자신감 있는 어조의 답변을 더 선호하는 경향)이 AI의 답변 스타일에 영향을 미칩니다.
LLM은 문맥상 다음에 올 가장 확률이 높은 단어를 예측합니다. 이 과정에서 소수의 예외적인 관점보다 다수의 편향된 고정관념을 선택할 확률이 높아집니다.
LLM에서 자주 발견되는 주요 인지 편향 유형
사용자가 질문에 특정 의도나 전제를 담으면, AI가 객관적 사실 대신 사용자의 기존 믿음을 지지하고 강화하는 방향으로 답변을 생성하는 현상입니다.
대화 초반에 제시된 숫자나 특정 정보에 과도하게 의존하여, 이후에 새로운 정보가 들어와도 초기 기준점에서 크게 벗어나지 못하는 현상입니다.
실제 사실이나 솔직한 분석보다는, 사회적으로 칭찬받거나 도덕적으로 옳아 보이는 대답을 하려고 과도하게 노력하는 경향입니다.
프롬프트(질문)가 길어질 때, 앞부분에 있는 중요한 지시사항보다 가장 마지막에 입력된 텍스트에 더 큰 가중치를 두고 답변하는 현상입니다.
AI 인지 편향의 영향과 한계
편향된 패턴에 의존해 추론하다 보면 사실이 아닌 내용을 그럴듯하게 지어내는 문제가 발생합니다.
채용, 대출 심사, 의료 진단 등에 AI가 활용될 때 특정 집단에 불리한 결과를 내놓을 위험이 있습니다.
고전 통찰: 인지과학과 심리학에서의 인지 편향(Cognitive Bias) 규명
관찰자 효과와 인간 통계적 에러 — Wikipedia: Cognitive Bias
인지 편향(Cognitive Bias)은 인지과학 (Cognitive Science)에서 인정되는 넓은 범위의 관찰자 효과(observer effects)이며, 모든 인간에게 흔한 매우 기본적인 통계적 에러와 기억의 에러(statistical and memory errors)와 같은 것을 의미한다 (Amos Tversky 와 Daniel Kahneman이 최초로 정식화함). 이는 일화적이며 법적인 증거의 신뢰성을 근본적으로 벗어난 것이다. 인지 편향은 어떤 관찰자로부터 그러한 편향을 최소화하도록 의도적으로 설계되도록 하는 과학적 방법론에 큰 영향을 준다.
편향(bias)은 다양한 삶에서 발생하며 충성(loyalty), 국부적 위험(local risk), 주의집중(attention) 같은 것은 구분하거나 체계화하기(codify)가 어렵다. Tversky와 Kahneman은 그 편향들이 적어도 부분적으로는 가용성 휴리스틱(availability heuristic)과 대표성 휴리스틱(representativeness heuristic)과 같은 휴리스틱 (Heuristic)을 사용하여 문제해결을 하기 때문에 발생한다고 주장한다. 인지 편향은 인간이 현실을 지각하는 방법에서의 왜곡(distortion)이며, 심리학 (Psychology) 분야에서 경험적으로 증명되어 왔다. (Wikipedia: List of Cognitive biases)
이분법적, 흑백 논리식 분류 범주화란 실제의 대상이나 현상에는 맞지 않는다. 그러함에도 불구하고 인간은 자신의 정보처리 능력의 한계 때문에 흑백식 이분법적으로 사고하여 범주를 가르게 되고, 일단 어떤 범주에 묶어 넣으면 실제로 그 속성을 갖고 있지 않음에도 불구하고 모든 속성을 몰아 넣게 된다. 정보처리 능력의 한계는 곧 지적 능력의 한계와 연결된다. 불신자 또는 기독교가 아닌 종교를 믿는 사람들을 이상한 인간으로 취급한다든지, ‘예수 믿으면 천당, 예수 안 믿으면 지옥’ 식의 이분법적 사고라든가, 방언을 하면 신앙심이 깊고 그렇지 않으면 신앙심이 옅다는 초등학교 식의 단순한 이분법적 사고는 바로 이러한 인간 사고의 범주화의 정보처리적 한계, 지적 능력의 한계를 반영한다 (범주적 사고).
매일 우리는 오늘 입고 나갈 옷이나, 외식의 경우 식사를 무엇을 할 것인가, 몇 번 버스나 전철을 탈것인가, 아침에 승용차를 갖고 나갈 것인가 등을 판단하여 결정한다. 물론 건강 검진에서 암 가능성이 발견되어 수술 할 것인가 말 것인가, 주식투자를 할 것인가 말 것인가 등의 중요한 문제를 판단하고 결정하기도 한다. 그런데 이러한 모든 상황에 있어서 우리의 판단과 결정이 우리가 생각하기보다는 상당히 비합리적이며, 편향적이고 오류 투성이라는 것이 드러난다. 그 첫째 특성이 확인편향이다. 일반적으로 사람들은 자신이 알고 있는 바, 믿는 바에 일치하는 방향으로 모든 것을 해석하고, 범주화하고, 판단하고, 결정하며 선택하는 경향이 있다. 이러한 경향을 논리학, 인지과학에서는 확인편향 (Confirmation Bias)이라고 한다.