비틀스의 'When I'm Sixty-Four(내가 예순넷이 되면)'를 들은 사람들이 다른 곡을 들은 사람들보다 생년월일 기준으로 1.5살 더 젊었다. 2011년 실제로 발표된 실험 결과이고, p값은 .04로 '통계적으로 유의미'했습니다. 물론 노래가 나이를 되돌릴 리는 없습니다. 울산외고 2학년 영어 지문 'The Problem with P-values'는 이 불가능한 결과가 어떻게 만들어졌는지를 따라가는 글입니다.
통계 이야기라 어려워 보이지만, 점수가 갈리는 곳은 계산이 아니라 논리입니다. 특히 p값이 말해 주는 것과 말해 주지 않는 것을 정확히 구별해야 하고, 음악 연구가 쓴 수법을 하나씩 짚을 수 있어야 합니다.
※ 영어 인용: TED-Ed 강의 'The Problem with P-values' 스크립트 · 분석에 필요한 짧은 문장만 인용했으며, 우리말 풀이는 모두 직접 옮긴 것입니다. 실험 배경: Simmons·Nelson·Simonsohn, 「False-Positive Psychology」, Psychological Science(2011).
한눈에 보는 핵심 — 불가능한 결과는 어떻게 '유의미'해졌나
지문은 일곱 단계로 흘러갑니다. 불가능한 결과로 문을 열고, 개념을 설명한 뒤, 그 개념이 어떻게 오용되는지 보여 주고, 해결책으로 닫습니다.
① p값, 거꾸로 읽으면 틀립니다
차 맛보기 실험에서 p값 .014는 '그녀가 맛을 구별하지 못한다고 가정하면, 우연히 여덟 잔을 모두 바르게 나눌 확률이 70분의 1'이라는 뜻입니다. 그래서 기준인 .05보다 작으니 '구별하지 못한다'는 귀무가설을 기각합니다. 여기까지는 계산입니다.
함정은 그다음 문장에 있습니다. 필자는 "But the reverse isn't true"라고 못 박습니다. p값은 그녀가 실제로 맛을 구별할 확률, 곧 우리가 정말 알고 싶은 답을 알려 주지 않는다는 것입니다. 조건과 결과를 뒤집으면 확률이 달라지기 때문입니다. 비가 오면 땅이 젖을 확률은 거의 100%지만, 땅이 젖어 있을 때 비가 왔을 확률은 그보다 낮습니다. 물청소를 했을 수도 있으니까요. 그래서 'p값이 .014이므로 그녀가 맛을 구별할 확률은 98.6%다'는 이 지문이 노리는 전형적인 오답입니다.
그렇다고 필자가 p값을 버리자는 것은 아닙니다. p값은 결과가 우연인지 직접 말해 주지는 않지만 대개 "a pretty reliable indication"(꽤 믿을 만한 지표)이 되고, 다만 올바르게 쓸 때만 그렇다고 말합니다. 'p값은 쓸모없다'는 선택지는 이 양보를 놓친 오답입니다.
② 검정을 늘릴수록 '가짜 발견'이 늘어납니다
실제 연구는 차 실험보다 복잡해서, 같은 질문을 여러 방식으로 검정할 수 있습니다. 가능한 방법을 다 해 보는 게 좋아 보이지만 필자는 아니라고 말합니다. 검정을 하나 더할 때마다 거짓 양성, 곧 실제로는 없는 효과를 '있다'고 판단할 확률이 커지기 때문입니다.
숫자로 보면 분명해집니다. 서로 독립인 검정을 .05 기준으로 여러 번 한다고 단순하게 가정하면, 효과가 전혀 없어도 적어도 한 번 '유의미'가 나올 확률은 1번이면 5%, 3번이면 약 14%, 10번이면 약 40%, 20번이면 약 64%입니다. 그중 유의미하게 나온 분석만 골라 발표하는 것이 p-hacking입니다. 필자의 비유는 이렇습니다. "It's like throwing darts until you hit a bullseye, and then saying you only threw the dart that hit the bullseye." 정중앙을 맞힐 때까지 다트를 던진 뒤, 정중앙에 꽂힌 한 발만 던졌다고 말하는 것과 같다는 뜻입니다. 함축 의미 문제로 내기 좋은 문장입니다.
③ 음악 연구가 쓴 세 가지 수법
필자는 음악 연구자들이 정확히 이렇게 했다고 말합니다. 수법은 세 가지입니다.
| 수법 | 지문 속 행동 | 왜 문제인가 |
|---|---|---|
| 골라서 보고하기 | 세 집단에게 각각 다른 곡을 들려주고, 발표한 분석에는 두 집단만 넣었다 | 유리한 비교만 남긴다 |
| 변수 골라 쓰기 | 많은 정보를 모았지만 분석에는 '아버지의 나이' 하나만 썼다. 명분은 참가자 사이의 기본 나이 차이를 통제한다는 것 | 결과가 유의미해지는 변수를 고른다 |
| 멈출 때 고르기 | 10명마다 실험을 멈추고, p값이 .05보다 크면 계속, .05 아래로 떨어지면 중단했다 | 우연히 기준 아래로 내려간 순간을 붙잡는다 |
결과는 한 곡을 들은 참가자가 다른 곡을 들은 참가자보다 1.5살 젊고, p값은 .04였습니다. 여기서 꼭 잡아야 할 사실이 있습니다. 이 연구는 실제 사람과 정직하게 보고한 데이터, 흔한 분석으로 이루어졌고, 연구의 목적 자체가 p값이 어떻게 오용될 수 있는지 보여 주는 것이었습니다. 그래서 '연구자들이 데이터를 조작했다'나 '실수로 잘못된 결론을 냈다'는 내용 불일치입니다.
④ 해결책 — 미리 등록하고, 과학이 과학을 점검합니다
보통은 p-hacking을 알아채기가 훨씬 어렵습니다. 노래와 나이 실험과 달리, 보통의 연구에서는 결과가 불가능한지 미리 알 수 없기 때문입니다. 실험의 목적이 애초에 새로운 것을 알아내는 데 있으니까요. 필자가 내놓는 간단한 해결책은 사전 등록(pre-registering)입니다. 실험과 분석 계획을 미리 자세히 정해 다른 사람이 확인할 수 있게 해 두면, 유의미한 결과가 나올 때까지 분석을 바꿔 가며 시도할 수 없습니다. 마지막 문장의 "science doing science on itself"는 과학의 관행을 연구해 개선하는 새 분야를 가리킵니다. 과학이 자기 자신을 실험 대상으로 삼는다는 뜻이라 함축 의미·빈칸 문제의 후보입니다.
⑤ 어법·구문, 이 세 문장은 꼭 보세요
1) "all a p-value actually tells us is the probability of getting a certain result, assuming the null hypothesis is true"
all (that) + 주어 + 동사가 문장 전체의 주어가 되는 구문으로, '~가 실제로 말해 주는 것은 ~뿐이다'라는 뜻입니다. 주어가 all이라 동사는 단수 is입니다. 끝의 assuming은 '~라고 가정하면'이라는 뜻으로, 바로 이 조건이 ①의 함정을 만드는 핵심입니다.
2) "Searching for a low p-value, and then presenting only that analysis, is often called p-hacking."
동명사구 두 개가 and then으로 이어졌지만, '낮은 p값을 찾아 그 분석만 발표하는' 하나의 행위를 가리켜 동사는 단수 is입니다. 어법 문제라면 are(✗)와 is(✓)를 구별해야 합니다. be called + 명사는 '~라고 불린다'입니다.
3) "with each additional test, the chance of a false positive increases"
with each ~는 '~할 때마다'라는 뜻입니다. 주어는 the chance이고 of a false positive는 주어를 꾸미는 말이라 동사는 단수 increases입니다. 꾸미는 말을 복수(of false positives)로 바꿔 놓고 increase를 고르게 하는 수 일치 함정으로 낼 수 있습니다.
그 밖의 구문:
- the probability that she can taste the difference — 동격의 that. 뒤의 which is what we're trying to find out은 계속적 용법 which + 관계대명사 what
- 70 different ways the cups can be sorted — ways 뒤 관계부사 생략('~하는 방법'). the way how는 함께 쓰지 않음
- played three groups of participants each a different song — play + 간접목적어 + 직접목적어(4형식), each는 '각각'
- it's much tougher to spot p-hacking — 가주어 it + 진주어 to부정사, much는 비교급 강조
- keep trying different analyses — keep ~ing '계속 ~하다'
시험엔 이렇게 나옵니다
출제를 단정할 수는 없지만, 묻기 좋은 지점은 이렇습니다.
- 주제·요지 — p값은 올바르게 쓰면 유용하지만 p-hacking으로 오용되면 불가능한 결과도 유의미해 보인다. 사전 등록으로 신뢰도를 높일 수 있다
- 함정 선택지 — 'p값 = 연구 가설이 맞을 확률'(거꾸로 읽음) · '음악 연구자들이 데이터를 조작했다'(정직한 데이터, 오용을 보여 주려는 연구) · 'p값은 쓸모없다'(올바르게 쓰면 꽤 믿을 만함) · '가능한 분석을 모두 해 보는 게 좋다'(검정마다 거짓 양성 증가) · '모든 분야의 기준이 .05'(지문은 많은 분야라고만 함)
- 함축 의미·빈칸 — 다트 비유, science doing science on itself, a pretty reliable indication, 사전 등록
- 내용 일치 숫자 — 차 8잔(4+4), 70가지, 1/70 ≈ .014, 기준 .05, 세 집단 중 두 집단, 10명마다 확인, 1.5살, p = .04
- 어법 — all ~ is, 동명사 주어 + is, the chance ~ increases, 동격 that, 관계부사 생략
- 어휘 — significant, null hypothesis, reject, rule out, commonplace, false positive, spot, dip, bullseye, inquiry
공부 순서를 권합니다. ① 차 실험의 숫자 흐름(8잔 → 70가지 → 1/70 → .014 → .05와 비교 → 기각)을 보지 않고 우리말로 설명해 보고, ② 'p값이 말해 주는 것'과 '말해 주지 않는 것'을 한 문장씩 영어로 써 본 뒤, ③ 음악 연구의 세 수법을 '무엇을 했나 / 왜 문제인가' 두 칸 표로 다시 정리해 보세요. ①을 막힘없이 설명할 수 있으면 지문의 절반은 이미 잡힌 것입니다.
함께 보시면 좋은 글: 고2 프랑켄슈타인 4장 정리 · 고2 영어 내신 문항 유형 정리 · 울산외고 2학년 내신, 왜 더 치열해질까요? · 원서 시험 범위가 길 때 공부법
울산외고 영어, 클레버 영어와 함께
클레버 영어는 울산 옥동에서 울산외고 내신과 수행평가를 전문으로 지도합니다. 수업에서는 이런 과학 지문의 개념과 논리 함정을 문장 단위로 함께 짚고, 시험 범위가 발표되면 AI 기반 문제 제작 시스템으로 그 범위의 연습 문제를 바로 만들어 풀어 봅니다. 수업이나 상담이 궁금하시면 전화로 편하게 문의해 주세요.
클레버 영어 홈페이지 → ☎ 010-9651-8010