10강 / 20강

도구가 여섯이면 답도 여섯 — 무엇으로 고르나

CPHmodels · Phyre2 · PS2v2 · RaptorX · Modeller · I-TASSER

논문은 여섯 도구를 다 돌렸습니다. 그리고 하나를 골랐어요. 이것은 흔한 관행이고, 동시에 조심해야 할 관행입니다.

좋은 쓰임

여섯 답이 서로 비슷하면 신뢰도가 올라갑니다.
독립된 방법이 같은 곳을 가리키니까요

위험한 쓰임

여섯 답 중 마음에 드는 것을 고르는 것.
고르는 기준이 결과에 의존하면 아무 검증이 아닙니다

논문은 어느 쪽이었을까요? Z-score 라는 바깥 기준을 썼으니 형식은 갖췄습니다. 다만 여섯 구조가 서로 얼마나 달랐는지는 적지 않았어요. 그 숫자가 사실 가장 중요한데요.

고등학생체온계 여섯 개

열이 나는 것 같아 체온계 여섯 개로 재 봤습니다.

결과	무엇을 알 수 있나
전부 38.1~38.3 ℃	정말 38도쯤이다 — 믿을 만하다
36.5 / 38 / 39.5 / 37 …	체온계가 고장났거나 재는 법이 틀렸다

두 번째 경우에 "가장 마음에 드는 값을 고르는 것" 은 아무 의미가 없습니다. 그런데 이런 일이 논문에서 자주 일어나요.

쌍별 RMSD 행렬 하나면 끝나는 이야기입니다. 그런데 그 표가 논문에 없어요.

Python 브라우저에서 실행

# 여섯 모델이 서로 얼마나 다른지를 재는 표준 방법: 쌍별 RMSD 행렬.
# 논문에 없는 값이므로, '있었다면 이렇게 생겼을' 두 경우를 만들어 견줍니다.
import numpy as np

names = ["CPHmodels", "Phyre2", "PS2v2", "RaptorX", "Modeller", "I-TASSER"]

def show(mat, title):
    print(title)
    print("        " + "".join(f"{n[:6]:>8s}" for n in names))
    for i, n in enumerate(names):
        print(f"{n[:7]:8s}" + "".join(f"{mat[i][j]:8.1f}" for j in range(6)))
    off = mat[np.triu_indices(6, 1)]
    print("  쌍별 RMSD 평균:", round(off.mean(), 2), "A")
    print()

rng = np.random.default_rng(3)
agree = np.zeros((6, 6)); dis = np.zeros((6, 6))
for i in range(6):
    for j in range(i+1, 6):
        a = rng.uniform(1.2, 2.6); d = rng.uniform(6.0, 13.0)
        agree[i][j] = agree[j][i] = a
        dis[i][j]   = dis[j][i]   = d

show(agree, "경우 A — 여섯 도구가 대체로 같은 답을 냈다면")
show(dis,   "경우 B — 여섯 도구가 서로 다른 답을 냈다면")
print("논문에 적힌 값: 없음. 그래서 우리는 A 인지 B 인지 알 수 없습니다.")

합의(consensus)가 왜 좋은 근거인가

여섯 방법은 서로 다른 가정을 씁니다. 상동모델링은 서열 유사도를 믿고, 스레딩은 접힘 적합도를 믿고, 조각조립은 국소 통계를 믿습니다.

가정이 다른 방법들이 같은 답에 이르면, 그 답이 특정 가정의 부산물일 가능성이 줄어듭니다. 이것이 합의가 증거가 되는 이유예요.

반대로 답이 갈리면 — 그 자체가 결과입니다. "이 단백질은 현재 방법으로 안정적으로 예측되지 않는다" 는 것도 보고할 가치가 있는 발견이에요.

합의를 실제로 쓰는 예: CASP 대회의 상위 서버 대부분이 여러 모델을 합쳐서 냅니다. AlphaFold 도 다섯 모델을 돌려 순위를 매기고요.

왼쪽처럼 나오면 쓸 만한 모델입니다. 오른쪽이면 어느 하나를 고르는 것 자체가 근거 없는 결정이에요.

Python 브라우저에서 실행

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(19)
fig, axes = plt.subplots(1, 2, figsize=(7.2, 3.2))

for ax, spread, title in zip(axes, [1.2, 7.0], ["models agree", "models disagree"]):
    for i in range(6):
        ang = rng.uniform(0, 2*np.pi)
        cx, cy = spread*np.cos(ang)*0.4, spread*np.sin(ang)*0.4
        t = np.linspace(0, 6*np.pi, 120)
        ax.plot(cx + 3*np.cos(t) + t*0.1, cy + 3*np.sin(t), lw=1.0, alpha=0.75)
    ax.set_title(title, fontsize=10)
    ax.set_xticks([]); ax.set_yticks([]); ax.set_aspect("equal")
plt.tight_layout()
plt.show()

고등학생여기까지 한 줄로 — 그리고 퀴즈의 함정

완전함은 근거의 양이 아니라 채워 넣은 양을 잰다.

퀴즈 두 번째가 이 강의에서 가장 미묘한 문제입니다.

"가장 완전한 구조를 골랐다" 가 왜 위험한가?

주형이 절반만 있을 때, 정직한 도구는 절반만 만들고 멈춥니다. 대범한 도구는 전부 채웁니다.

결과 파일만 보면 두 번째가 더 좋아 보여요. 완전하니까요. 하지만 채운 부분에는 근거가 없습니다.

학교로 옮기면 — 모르는 문제를 비워 둔 답안지와 아무거나 찍어 채운 답안지 중 어느 쪽이 '완전' 한가요? 채점 방식에 따라 다르죠. 그리고 여기서는 채점자가 없습니다.

🤔 확인 문제

여러 예측 도구를 함께 쓰는 가장 좋은 이유는?

🤔 확인 문제

"가장 완전한 구조를 만들었다" 를 선택 기준으로 삼는 것이 위험한 이유는?