16강 / 20강

함정 셋 — 계기판 부수기 · 브레이크 끄기 · 0 의 유혹

모형이 거짓말하는 세 가지 방식

이제 스크리닝을 신뢰하기 전에 반드시 확인해야 할 세 가지를 봅니다. 셋 다 계산은 완벽하게 맞는데 결론이 틀리는 경우입니다.

계기판 부수기 — 표현형을 읽는 노드 자체를 표적으로 삼기
브레이크 끄기 — 암과 '관련 있다' 는 이유로 종양 억제자를 끄기
0 의 유혹 — '남은 암 0' 이라는 숫자 하나로 판단하기

고등학생모형이 거짓말하는 세 가지 방식

불 모형으로 치료 표적을 찾을 때 함정 셋 이 있다.

함정	내용
계기판 부수기	표현형 판정에 쓰는 유전자를 직접 조작
브레이크 끄기	종양억제 유전자를 꺼서 결과를 만듦
0 의 유혹	모든 것을 꺼서 아무것도 안 하게 만듦

모형은 시킨 대로 한다 — 그래서 잘못된 목표를 주면 잘못된 답을 준다

그래서 net.druggable() 이 계기판 노드를 미리 빼 둔 것입니다.

Python 브라우저에서 실행

import bn

net = bn.twin()
base = net.landscape()

# 함정 1 — 계기판을 표적에 넣으면?
print("표현형을 읽는 노드까지 표적에 넣어 보면")
print("-" * 58)
for g in net.readouts:
    L = net.landscape({g: 0})
    r = L.report(base)
    print("  " + bn.pad(g + " 녹아웃", 26)
          + f"가역화 {r['가역화']:>5.0f}%   남은 암 {r['남은암']}")

print()
print("Proliferation 녹아웃은 '남은 암 0' 을 냅니다 — 만점처럼 보이죠.")
print("당연합니다. 암인지 아닌지를 Proliferation 으로 판정하는데")
print("그 Proliferation 을 0 으로 붙박았으니까요.")
print("온도계를 부수고 '열이 없다' 고 말한 셈입니다.")

부작용 96개. 실험으로 갔다면 값비싼 실패였을 것입니다.

Python 브라우저에서 실행

import bn

net = bn.twin()
base = net.landscape()

# 함정 2 — '암과 관련된 유전자' 를 무조건 끄면?
print("p53 을 어느 쪽으로 조작해야 하나")
print("-" * 58)
for v, name in [(0, "p53 녹아웃 (끈다)"), (1, "p53 과발현 (켠다)")]:
    L = net.landscape({"p53": v})
    r = L.report(base)
    print("  " + bn.pad(name, 26)
          + f"가역화 {r['가역화']:>5.0f}%   부작용 {r['부작용']:>3}개   "
          + f"남은 암 {r['남은암']}")

print()
print("정반대입니다. p53 은 브레이크(종양 억제자)이므로 켜야 합니다.")
print("'암 유전자' 라는 한 단어에 액셀과 브레이크가 섞여 있다는 것 —")
print("이것을 컴퓨터가 미리 걸러 주는 것이 스크리닝의 실용적 가치입니다.")

고등학생계기판 부수기

"암" 을 증식 유전자가 켜진 상태 로 정의했다고 하자.

그러면 증식 유전자를 끄면 된다

모형은 "암이 없어졌다" 고 말한다. 그런데 그것은 정의를 만족시킨 것일 뿐이다.

비유	내용
체온계를 부수면 열이 안 난다	—
속도계를 고장 내면 안전운전	—

어떻게 피하나

표현형 판정에 쓴 유전자는 섭동 후보에서 제외한다.

측정에 쓰는 것을 조작하면 측정이 무의미해진다

마지막 줄이 100% 로 나오는 것을 보세요. 지표는 가짜를 걸러 주지 않습니다.

Python 브라우저에서 실행

import bn

net = bn.twin()
base = net.landscape()

# 함정 3 — '남은 암 0' 인 처치들을 모아 자세히 본다
print(bn.pad("처치", 26) + bn.pad("남은 암", 10) + bn.pad("가역화", 10)
      + bn.pad("휴면", 10) + "무엇이 일어났나")
print("-" * 78)
for name, p in [("DDX54 녹아웃",       {"DDX54": 0}),
                ("MDM2 녹아웃",        {"MDM2": 0}),
                ("PDL1+CD47 병용",     {"PDL1": 0, "CD47": 0}),
                ("Proliferation 녹아웃", {"Proliferation": 0})]:
    L = net.landscape(p)
    r = L.report(base)
    # 계기판 노드를 건드렸는지부터 확인한다 — 숫자보다 이것이 먼저다
    if any(g in net.readouts for g in p):
        what = "판정 노드를 껐을 뿐 (가짜)"
    elif r["가역화"] == 100:
        what = "정상으로 복귀 (진짜 가역화)"
    elif r["휴면"] == 100:
        what = "증식만 억눌림 (휴면)"
    else:
        what = "부분적 효과"
    print(bn.pad(name, 26) + bn.pad(r["남은암"], 10)
          + bn.pad(f"{r['가역화']:.0f}%", 10) + bn.pad(f"{r['휴면']:.0f}%", 10) + what)

print()
print("네 처치 모두 '남은 암 0' 이고, 넷 중 셋은 '가역화 100%' 까지 같습니다.")
print("숫자만으로는 구별이 안 됩니다 — 무엇을 건드렸는지를 봐야 합니다.")

🎮 함정 실험대

세 함정을 하나씩 눌러 보세요. 각각 무엇이 잘못되었는지 짚어 줍니다.

고등학생브레이크 끄기와 0 의 유혹

브레이크 끄기

p53 같은 종양억제 유전자 를 조작해서 결과를 만드는 것.

모형에서는 효과가 나지만 실제로는 암을 더 악화시킨다.

0 의 유혹

모든 유전자를 0 으로 만들면 아무 어트랙터도 안 남는다.

모형은 "암이 사라졌다" 고 하지만 실제로는 세포가 아무것도 못 하는 상태다.

함정	피하는 법
브레이크 끄기	KO 방향을 생물학적으로 검토
0 의 유혹	섭동 개수 제한 · 정상 세포도 확인

모형이 좋아하는 답이 생물학적으로 말이 되는지 반드시 확인한다

고등학생세 함정의 공통점

공통점	내용
목표 함수를 만족시킴	모형 안에서는 성공
의도와 다름	생물학적으로는 무의미
사람이 확인해야 함	계산으로는 못 걸러냄

이것을 '보상 해킹' 이라 부른다

기계학습에서도 같은 문제가 있다. 목표를 글자 그대로 만족시키되 의도와 다른 답을 찾는 것.

그래서 목표를 잘 정해야 한다

"암 표지가 꺼진 상태" 가 아니라 "정상 세포와 같은 상태" 로 정의하면 계기판 부수기를 막을 수 있다.

최적화는 목표를 만족시킬 뿐이다 — 목표가 의도를 담아야 한다

🤔 확인 문제

Proliferation 녹아웃이 '남은 암 0' 을 낸 것이 무의미한 이유는?

🤔 확인 문제

p53 녹아웃이 해로운 결과를 낸 것에서 배울 점은?

🤔 확인 문제

'남은 암 0' 이라는 숫자만으로 표적을 고르면 안 되는 이유를 가장 잘 요약한 것은?