Lesson 10 of 20

【실습】 예측기를 직접 만든다 — 열 줄짜리 PSSM

모티프로 배우고 다른 실험으로 채점한다 · AUC 0.75~0.87

9강에서 모티프를 얻었습니다. 이제 새 펩타이드가 붙을지 맞혀 봅시다.

점수 = Σ_j=1..9 log₂ ( 관측빈도_j,글자 ÷ 배경빈도 )

자리마다 '이 글자가 얼마나 기대보다 자주 오나' 를 로그로 재고, 아홉 자리를 더합니다. 이것을 위치별 점수행렬(PSSM) 이라고 합니다.

📊

빈도행렬 PFM

자리마다 얼마나 자주 오나

➗

배경으로 나눈다

그냥 흔한 글자와 진짜 선호를 가른다

➕

로그를 더한다

곱셈을 덧셈으로 — 자리를 독립으로 가정

High school열 줄짜리 예측기

9강의 모티프로 예측기를 만듭니다.

각 자리의 점수를 더하면 끝 — 그게 PSSM 이다

만드는 법

단계	—
1	붙는 펩타이드를 모은다
2	자리별 글자 빈도를 센다
3	기준 대비 로그 비를 취한다 (9강)
4	새 펩타이드는 합으로 채점

덧셈만 한다 — 자리끼리 독립이라 가정하는 것이다 ⚠

이 가정이 맞나

—	—
대체로 맞다	그래서 잘 통한다 ✔
완전히는 아니다	자리끼리 영향을 준다 ⚠

그래서 AUC 가 1.0 이 아니다 — 그리고 그게 맞다

실제 도구와의 차이

—	PSSM	NetMHCpan 등
모형	덧셈	신경망 ⭐
자리 상호작용	못 본다	본다 ✔
이해	완전히 이해된다 ✔	어렵다

이해할 수 있다는 것이 배우는 목적에는 큰 장점이다

양수는 '기대보다 자주', 음수는 '기대보다 드물게'.

Python Runs in your browser

# 점수행렬을 만든다
import ag
import numpy as np

peps = ag.peptides("HLA-A*02:01", "모티프")["펩타이드"].tolist()
S = ag.pssm(peps)                   # 9 x 20, 단위는 bit
print(f"학습 펩타이드 {len(peps):,}개 -> 점수행렬 {S.shape}")
print()
print("P2 자리의 점수 (높을수록 선호)")
순 = np.argsort(-S[1])
for i in 순[:3]:
    print(f"  좋아함  {ag.AA[i]}  {S[1, i]:>+6.2f} bit")
print("   ...")
for i in 순[-3:]:
    print(f"  싫어함  {ag.AA[i]}  {S[1, i]:>+6.2f} bit")
print()
print("L 하나가 +3.39 bit - 다른 아미노산과 격이 다릅니다. 이게 앵커예요.")

자리별 기여를 나란히 보면 <b>왜</b> 그 점수가 나왔는지 보입니다.

Python Runs in your browser

# 펩타이드 하나를 채점해 본다
import ag

peps = ag.peptides("HLA-A*02:01", "모티프")["펩타이드"].tolist()
S = ag.pssm(peps)

보기 = ["YLLPAIVHI",   # 잘 알려진 A*02:01 결합체 모양
        "SLYNTVATL",   # HIV Gag - 교과서 단골
        "GPGRAFVTI",   # B*07:02 모양 (P2 프롤린)
        "AAAAAAAAA"]   # 아무 뜻 없는 것
print(f"{'펩타이드':<12}{'점수(bit)':>12}   자리별 기여")
for p in 보기:
    자리 = " ".join(f"{S[j, ag.AA.find(c)]:>+5.1f}" for j, c in enumerate(p))
    print(f"{p:<12}{ag.score(p, S):>12.2f}   {자리}")
print()
print("P2·P9 가 맞는 것이 점수를 끌어올립니다. GPGRAFVTI 는 P2 프롤린이라 A*02:01 에서 손해예요.")
print()
print("AAAAAAAAA 가 중간쯤인 것도 눈여겨보세요. 특별히 좋지도 나쁘지도 않습니다.")
print("**점수 하나만으로는 '붙는다/안 붙는다' 를 말할 수 없어요.** 자르는 기준이 필요하고,")
print("기준을 정하려면 **안 붙는 것들의 점수 분포**를 알아야 합니다. 그게 다음 셀입니다.")

High school여기서 멈추면 속는 겁니다

note 의 이 경고가 /ml 4강과 같은 이야기입니다.

배운 자료로 채점하면 — 점수가 좋게 나온다 ⚠

왜 그런가

—	—
모티프를 그 자료로 만들었다	—
당연히	잘 맞는다 ⚠

"외운 것을 맞히는" 셈이다 — 실력이 아니다

그래서 이 강의가 하는 일

—	자료
배우기	질량분석 펩타이드
채점	결합 측정 자료 ⭐

3강에서 본 두 실험이 여기서 쓰인다 — 서로 독립이다

이게 더 엄격한 시험입니다

—	—
같은 실험으로 나누면	실험 조건이 공유된다 ⚠
다른 실험이면	진짜 일반화를 잰다 ✔ ⭐

배치 효과까지 넘어서는지 를 본다 — /ml 16강

그리고 음성 대조

—	—
무작위 펩타이드로 채점하면	AUC 가 0.5 여야 ✔
아니면	어딘가 새고 있다 ⚠

/ml 16강의 라벨 섞기 와 같은 검사다

0.784 — 행렬 하나와 덧셈 아홉 번치고는 꽤 좋습니다.

Python Runs in your browser

# 다른 실험으로 채점한다
import ag

r = ag.evaluate("HLA-A*02:01")
for k, v in r.items():
    print(f"  {k:<10}{v}")
print()
print("AUC 는 '결합체 하나와 비결합체 하나를 뽑았을 때")
print("결합체 점수가 더 높을 확률' 입니다. 0.5 는 동전 던지기.")

전부 0.5 를 크게 넘습니다 — 우연이 아니라는 뜻이에요.

Python Runs in your browser

# 여덟 게시판 모두 채점
import ag
import pandas as pd

행 = []
for a in ag.alleles():
    r = ag.evaluate(a)
    r["대립유전자"] = a
    행.append(r)
T = pd.DataFrame(행)[["대립유전자", "학습", "검정 결합", "검정 비결합", "AUC"]]
print(T.sort_values("AUC", ascending=False).to_string(index=False))
print()
print(f"평균 AUC {T['AUC'].mean():.3f}  ·  최저 {T['AUC'].min():.3f}  최고 {T['AUC'].max():.3f}")

곡선이 왼쪽 위로 부풀수록 좋습니다.

Python Runs in your browser

# ROC 곡선을 그린다
import ag
import matplotlib.pyplot as plt

fig, ax = plt.subplots(figsize=(5.2, 5))
for a in ["HLA-B*07:02", "HLA-A*03:01", "HLA-A*02:01", "HLA-A*24:02"]:
    train = ag.peptides(a, "모티프")["펩타이드"].tolist()
    S = ag.pssm(train)
    test = ag.peptides(a, "검정")
    sc = [ag.score(p, S) for p in test["펩타이드"]]
    lab = (test["라벨"] == "결합").astype(int).tolist()
    x, y = ag.roc(sc, lab)
    ax.plot(x, y, lw=2, label=f"{a}  AUC {ag.auc(sc, lab):.3f}")
ax.plot([0, 1], [0, 1], "k--", lw=1, label="동전 던지기")
ax.set_xlabel("거짓 양성률")
ax.set_ylabel("참 양성률")
ax.set_title("PSSM 예측기 — 다른 실험으로 채점")
ax.legend(fontsize=8, loc="lower right")
plt.tight_layout()
plt.show()

High school왜 AUC 가 1.0 이 아닌가 — 그게 맞습니다

note 의 이 대목이 가장 성숙한 태도입니다.

AUC 0.75~0.87 — 완벽하지 않은 것이 정상이다

왜 완벽할 수 없나

이유	—
자리 상호작용을 못 본다	모형의 한계
측정에 오차가 있다	자료의 한계 ⭐
두 실험이 다른 것을 잰다	3강 ⭐
길이·문맥 효과	—

모형만의 문제가 아니다 — 자료 자체에 한계가 있다

만약 AUC 가 1.0 이 나온다면

—	—
기뻐할 게 아니라	의심해야 한다 ⚠
대개	자료가 새고 있다

/ml 16강의 "점수가 너무 좋으면 의심한다" 그대로다

실제 도구와 비교하면

도구	대략 AUC
우리 PSSM	0.75~0.87
NetMHCpan	0.9 이상

열 줄로 실제 도구의 상당 부분에 도달한다 — 원리가 단순하다는 뜻이다

이 강의의 교훈

—	—
도구가 마법이 아니다	—
원리를 알면	한계도 안다 ⭐

한계를 아는 사람이 결과를 제대로 쓴다

High school예측 점수를 어떻게 읽을까

10강을 마치며 점수 해석을 정리합시다.

점수는 순위를 위한 것이지 절대값이 아니다

실무에서 쓰는 표현

표현	뜻
%rank	무작위 펩타이드 중 상위 몇 % ⭐
IC50 예측	결합 세기 추정

%rank 가 대립유전자 간 비교에 낫다 — 기준이 통일된다

왜 그런가

—	—
대립유전자마다 점수 분포가 다르다	⚠
같은 점수라도	어떤 게시판에선 상위, 다른 데선 중간

순위로 바꾸면 같은 자로 잰 것이 된다

흔한 문턱

%rank	보통 부르는 이름
< 0.5%	강한 결합체
< 2%	약한 결합체

⚠ 이 문턱은 관례다 — 절대적 근거가 아니다

그리고 13강의 예고

—	—
"강한 결합체" 라도	T세포가 반응한다는 뜻이 아니다 ⚠

점수가 답하는 물음은 "붙나" 하나뿐이다 — 13강

🤔 Check yourself

모티프 무리(질량분석)로 배우고 검정 무리(정제 MHC 결합실험)로 채점한 이유는?

🤔 Check yourself

AUC 0.784 가 뜻하는 것은?

🤔 Check yourself

PSSM 의 AUC 가 1.0 에 못 미치는 가장 큰 구조적 이유는?