AI가 자동으로 리서치를 해준다면? OpenAI 'Deep Research'의 한계와 문제점

요즘 AI가 논문도 쓰고, 보고서도 정리해 준다는 소문이 많죠. "이제 리서치 업무도 AI가 대신해 주는 시대가 오나?" 하는 기대감이 커지고 있습니다. 그런데 정말 AI가 연구자나 분석가의 역할을 대체할 수 있을까요?

벤에딕트 에반스(Benedict Evans)는 OpenAI의 최신 리서치 도구 ‘Deep Research’를 직접 사용해 본 후, 그것이 아직 연구자의 역할을 대체하기에는 부족하다는 점을 지적했습니다. 그는 AI가 제공한 데이터를 검토하는 과정에서 여러 오류와 한계를 발견했고, 결국 AI를 맹신해서는 안 된다는 결론을 내렸습니다.

과연 어떤 문제들이 있었을까요? 그리고 AI 기반 리서치 도구는 앞으로 어떻게 발전할 수 있을까요?

---

OpenAI ‘Deep Research’란?

‘Deep Research’는 OpenAI가 연구자나 데이터 분석가를 위해 개발한 AI 기반 리서치 자동화 도구입니다.
이 도구는 다음과 같은 기능을 제공합니다.
✔ 특정 주제에 대한 정보를 자동으로 검색
✔ 여러 출처에서 데이터를 모아 표로 정리
✔ 분석 요약을 생성해 보고서 형태로 제공

겉으로 보면 아주 유용한 기능이죠. 실제로 벤에딕트 에반스도 이 도구를 테스트하면서 기대를 가졌습니다. 그는 특히 자신이 잘 아는 ‘스마트폰 시장’ 관련 데이터를 AI가 얼마나 정확하게 분석하는지 확인하고 싶었습니다.

하지만 결과는? 예상과는 많이 달랐습니다.

---

AI 리서치 도구의 문제점

에반스가 발견한 주요 문제는 AI가 제공하는 데이터의 신뢰성이었습니다.

1. 출처가 불분명하거나 신뢰할 수 없음

Deep Research는 Statista와 Statcounter 같은 출처를 사용했다고 밝혔습니다.
그러나,

• Statcounter는 웹 트래픽 기반 통계를 제공하기 때문에 기기 사용량에 따라 데이터 편차가 큽니다.
• Statista는 실제로는 여러 출처의 데이터를 재가공한 자료를 제공하기 때문에, 진짜 원본 출처가 어디인지 모호합니다.
  → 즉, AI가 제공한 데이터가 정확한 정보인지 검증하기 어렵다는 것이 문제였습니다.

2. 상반된 데이터 제공

Deep Research는 일본 스마트폰 시장 점유율을 다음과 같이 제공했습니다.
iOS 69% / Android 31%

하지만,

• Statcounter조차 69%라는 수치를 발표한 적이 없음
• Kantar Worldpanel의 실제 데이터는 Android 63% / iOS 36%
• 일본 정부 공식 자료에서는 Android 53% / iOS 47%

결국 출처마다 전혀 다른 수치를 보이고 있었고, AI는 이 차이를 전혀 걸러내지 못했습니다.

3. AI가 ‘맥락’을 이해하지 못함

LLM(대형 언어 모델)은 사용자의 질문을 이해하고 적절한 답을 생성하는 데는 강하지만, 데이터를 결정론적으로 추출하는 데는 약합니다.

• 예를 들어, AI는 "스마트폰 시장 점유율"이라는 질문을 이해하지만,
• "어떤 기준으로 측정된 점유율을 원하는가?"에 대한 맥락은 제대로 파악하지 못합니다.
• 결국 엉뚱한 수치를 가져오거나, 모순된 데이터를 제공하는 경우가 발생합니다.

이 문제는 AI의 근본적인 한계를 보여줍니다.

---

AI 리서치 도구는 쓸모가 없을까?

그렇다면 AI 기반 리서치 도구는 완전히 무용지물일까요? 그렇지는 않습니다.

✔ AI는 연구자가 잘 아는 주제에 대해 초안을 빠르게 생성하는 용도로는 유용할 수 있습니다.
✔ 초안을 작성한 후, 사람이 직접 데이터를 검증하는 방식으로 활용할 수 있습니다.

에반스는 이를 "무한한 인턴을 두는 것과 같다"고 표현했습니다.

• AI가 가져온 데이터를 그대로 믿으면 안 되지만,
• 사람이 직접 조사할 시간을 줄이는 용도로 활용할 수 있다는 뜻입니다.

즉, AI는 연구자를 대체하는 것이 아니라, 보조하는 역할을 해야 합니다.

---

결론: AI 리서치 도구, 어떻게 활용해야 할까?

벤에딕트 에반스의 경험에서 얻을 수 있는 교훈은 다음과 같습니다.

✅ AI가 제공하는 정보를 맹신하지 말 것!
✅ 데이터 출처를 반드시 검증할 것!
✅ AI를 ‘완전 자동화된 리서치 도구’로 기대하기보다는, 연구 보조 도구로 활용할 것!

현재 AI 리서치 도구는 ‘완벽한 자동화’보다는 ‘빠른 초안 작성’ 용도로 적합합니다.
아직까지는 AI가 제공하는 정보의 신뢰성을 100% 보장할 수 없기 때문입니다.

하지만 앞으로 AI 기술이 발전한다면, 신뢰할 수 있는 데이터 필터링과 정확한 출처 제공이 가능해질 수도 있겠죠.

 

출처: https://www.ben-evans.com/benedictevans/2025/2/17/the-deep-research-problem

The Deep Research problem — Benedict Evans