8.12 홀드아웃 집합, 블라인드화, 널 검사와 교차 파이프라인 재검증: EFT를 “이야기만 잘하는 이론”에 머물지 않게 하는 법

1. 본 절의 결론

이 절은 더 이상 대상 수준의 판정선을 새로 추가하지 않는다. 여기서 보충하는 것은 더 차갑고, 더 단단하며, 더 불편한 심사 규칙 한 벌이다. EFT가 8.4부터 8.11까지의 적색편이 잔차, 공유 기반 지도 폐합, 구조 분층, 근접 지평선 세부무늬, 경계 장치 임계값과 양자 가드레일을 “지원”으로 쓰고 싶다면, 먼저 네 가지 통일 가드레일을 받아들여야 한다. 홀드아웃 집합은 결과를 보고 기준을 되돌려 조정하지 못하게 하고, 블라인드화는 답을 훔쳐보지 못하게 하며, 널 검사는 주 결과와 함께 유의해지면 안 되고, 교차 파이프라인 재검증은 단일 경로가 진실을 독점하지 못하게 해야 한다. 이 네 가지 방법론적 문이 없으면 제8권이 아무리 훌륭해도 여전히 높은 설명력을 가진 서사일 수 있다. 이 네 가지 방법론적 문을 통과할 때에야 비로소 그것은 심사를 기꺼이 받는 후보 이론처럼 보이기 시작한다.

II. 대상층 이후에는 방법론적 총괄 관문도 보강해야 한다

앞의 8.4부터 8.11까지는 EFT가 가장 이기고 싶어 하면서도 가장 쉽게 상처 입을 수 있는 대상 수준의 전장을 모두 탁자 위에 올려놓았다. 교차 탐침 무분산 공통항, TPR 주축과 PER 잔차, 회전—렌즈—병합의 공유 기반 지도, 구조 발생학, 네거티브와 환경 단층촬영, 근접 지평선과 경계 식별 신호, 경계 장치와 고장력 진공, 그리고 양자 전파와 비통신 가드레일까지가 그것이다. 그러나 이 내용들이 “무엇을 측정하는가”, “어떤 결과가 지원인가”, “어떤 결과가 구조적 손상을 주는가”만 쓴다면 아직 부족하다. EFT의 언어 자체가 설명력이 매우 강하기 때문이다. 설명력이 강한 이론이 가장 두려워해야 할 것은 사례가 부족한 것이 아니라, 사례가 너무 많을 때 누구나 사후적으로 그것을 말이 되게 엮을 수 있다는 점이다.

앞의 논의에는 아직 하나의 총괄 관문이 더 필요하다. 점수로 기록하고 싶은 모든 결과는 먼저 물어야 한다. 그것들이 같은 방법론적 가드레일 아래에서 이긴 것인가. 이 총괄 관문을 먼저 명확히 해야 뒤의 총장부가 “직접 지원”, “조임”, “구조적 손상”을 구분할 자격을 얻는다. 그렇지 않으면 전체 장부는 사후에 보기 좋은 사례만 골라 적은 공로 장부로 미끄러지기 쉽다.

III. 본 절은 새 실험 가족을 추가하지 않고, 심사 규율만 보충한다

이 절은 통계학 교재처럼 쓰여서는 안 된다. 그렇게 하면 제8권은 갑자기 온도를 잃고, 정작 해야 할 일에서도 벗어난다. 8.12는 독자에게 훈련 집합, 검정 집합, 유의성, 베이즈 요인 또는 모형 평균이 무엇인지 가르치러 온 절이 아니다. 그것은 더 냉혹한 한 가지 일을 하러 왔다. EFT가 자기 자신을 속이지 못하게 하는 방법이다.

따라서 8.12가 말하는 네 가지 규칙은 서로 고립된 기술 동작이 아니라, 하나의 총괄 규율을 중심으로 펼쳐진다. 사전에 기준을 동결하고, 사후에는 장부만 기록하며, 말을 바꾸지 않는다. 표본을 어떻게 고를지, 어떤 대상이 주 표본에 들어갈지, 어떤 주파수대나 적색편이 층을 홀드아웃으로만 둘지, 어떤 환경 지표가 주 분석에 들어갈지, 어떤 제외 조항이 유효한지, 어떤 채점 규칙을 명중으로 볼지 모두 주 결과를 보기 전에 써 두어야 한다. 이 단계가 없으면 홀드아웃 집합은 몰래 먹히고, 블라인드화는 연기로 변하며, 널 검사는 가장 약한 것만 골라 수행되고, 교차 파이프라인도 “같은 편향을 두 번 돌린 것”으로 전락한다.

마찬가지로 중요한 것은 역할을 분리하는 일이다. 제8권의 많은 실험과 관측은 사실상 공통 골격 하나에 잘 맞는다. 피드포워드팀은 환경, 기하와 이미 동결된 대리량만을 바탕으로 예측 카드를 발표한다. 측정팀은 그 예측 카드의 내용을 모르는 조건에서 판독값을 추출한다. 중재팀은 마지막에야 사전 등록된 채점표에 따라 예측과 결과를 맞춘다. 모든 판정선이 이 세 팀 구조를 기계적으로 그대로 옮겨야 하는 것은 아니다. 그러나 이 골격은 본 절의 가장 중요한 사실을 일깨운다. 예측은 예쁜 그림보다 먼저 있어야 하고, 규칙은 아름다운 이야기보다 먼저 있어야 한다.

IV. 첫 번째 가드레일: 홀드아웃 집합 — 결과를 보고 기준을 되돌려 조정하지 못하게 하라

8.12에서 홀드아웃 집합은 온건한 “일반화 능력 검사”가 아니라, 사후 되돌림을 막기 위해 특별히 만든 칼이다. EFT가 가장 쉽게 저지를 수 있는 오류는 신호를 전혀 못 보는 것이 아니다. 조금 방향이 보인 뒤에 표본을 더 조정하고, 환경 분류를 더 조정하고, 임계값을 더 조정하고, 배경 기준을 더 조정하고, 피팅 가족을 더 조정하여, 그 작은 방향이 끝내 예쁜 그림으로 자라게 만드는 것이다. 홀드아웃 집합의 의미는 바로 이 퇴로를 봉쇄하는 데 있다. 훈련 부분에서 기준을 정할 수는 있지만, 홀드아웃으로 남겨 둔 부분을 다시 가져와 이미 말한 것을 고쳐서는 안 된다.

우주론 판에서는 홀드아웃 집합이 한 구간의 적색편이 창, 한 종류의 원천, 한 조각의 천구 영역, 하나의 서베이 버전, 심지어 독립 거리 사슬 전체가 될 수 있다. 극한 우주 판에서는 여러 대상, 여러 시기, 여러 고리 방향 구간, 여러 병합 은하단 또는 여러 환경 등급이 될 수 있다. 실험실과 양자 판에서는 한 구간의 매개변수 창, 한 종류의 재료, 한 대의 장치, 또는 임계값 근처에 있으나 아직 라벨이 공개되지 않은 스캔 단계들이 될 수 있다. 형식은 달라도 규율은 하나다. 홀드아웃은 검증만 하고, 역방향 조율은 하지 않는다.

EFT에 진짜 가점을 주는 홀드아웃 결과는 훈련 집합에서 한 번 본 추세가 홀드아웃에서도 “조금 닮았다”는 정도가 아니다. 방향이 뒤집히지 않고, 순위가 흩어지지 않으며, 기준이 바뀌지 않아야 한다. 예컨대 8.4의 공통항이 정말 무분산 공통 바탕색이라면, 홀드아웃 주파수대, 사건 창 또는 관측소로 옮겨도 적어도 같은 방향과 같은 시간창을 지켜야 한다. 8.5의 TPR 주축이 정말 바탕색을 감당할 수 있다면, 홀드아웃 원천 종류나 천구 영역으로 옮겨도 보편 α가 곧바로 말을 바꾸어서는 안 된다. 8.6의 공유 기반 지도가 정말 개별 사례의 이어붙이기가 아니라면, 동결된 기반 지도를 홀드아웃 대상에 적용할 때 곧장 또 다른 보정 세트를 요구해서는 안 된다. 반대로 추세가 홀드아웃에 들어가자마자 방향을 뒤집거나, 순서를 잃거나, 표본을 다시 골라야만 유지된다면, 그것은 더 이상 주 결론이 아니라 힌트로 내려와야 한다.

한 문장을 더 써 두어야 한다. 홀드아웃 집합은 “가장 쉽게 통과할 수 있는 조각”만 남겨 두어서는 안 된다. 이론이 가장 깨끗하고, 가장 익숙하고, 가장 보기 좋은 표본만 마지막에 남기고, 고위험 천구 영역, 보정이 어려운 주파수대, 복잡한 대상, 임계값 근처 매개변수 창을 모두 훈련 부분에서 반복해 시험했다면, 이른바 홀드아웃은 이미 오염된 것이다. 진정한 홀드아웃은 가장 얼굴을 때릴 가능성이 큰 단원을 일부러 포함해야 한다. 제8권의 목표는 승률을 높게 쓰는 것이 아니라, 승패 조건을 단단하게 쓰는 것이기 때문이다.

V. 두 번째 가드레일: 블라인드화 — 예측이 예쁜 그림보다 먼저 말하게 하라

블라인드화의 가치는 형식적으로 “더 과학적”이라는 데 있지 않다. 그것은 이론이 진짜로 위험을 거는 부분을 미리 말하도록 강제한다는 데 있다. EFT에는 그림을 본 뒤에 설명을 한 문장 덧붙이기 쉬운 곳이 너무 많다. 공통항이 환경 강화처럼 보이면 원래 환경 강화를 예상했다고 말할 수 있고, 어떤 편향이 결절 환경에서만 더 강해 보이면 골격은 본래 그래야 한다고 말할 수 있으며, 어떤 플랫폼에서 문턱 뒤 플랫폼이 나타나면 이것이 바로 문턱 이산성과 닮았다고 말할 수 있다. 그러나 이런 문장들이 결과를 보기 전에 쓰인 것이 아니라면, 그것은 예측이 아니라 회고적 수사에 불과하다.

따라서 8.12가 요구하는 블라인드화는 단순히 파일명을 가리거나 표본 라벨을 섞는 정도가 아니다. EFT에게 더 중요한 것은 피드포워드—측정—중재의 구조화된 블라인드화다. 피드포워드 단계에서 이론은 이미 동결된 환경 지표, 기하 정보, 재료 매개변수 또는 과거 장부만을 바탕으로 “어느 등급이 더 강하고 어느 등급이 더 약한가, 같은 방향을 예상하는가 아니면 반대 방향을 예상하는가, 무분산성을 유지해야 하는가, 같은 시간창 안에 드러나야 하는가”를 예측 카드에 적어야 한다. 측정 단계에서 신호를 추출하는 사람은 이 카드에 무엇이 쓰여 있는지 알 수 없어야 한다. 중재 단계에서야 제3자가 동결된 규칙에 따라 명중, 오방향, 비명중을 통계화한다. 이렇게 해야 EFT는 정말 자기 목을 걸고 베팅하는 것이다.

블라인드화가 각 판에서 보이는 구체적인 모습은 서로 크게 달라도 된다. 8.4와 8.5는 환경 분층과 원천 종류 라벨을 가릴 수 있다. 8.6부터 8.9까지는 골격 방향장, 병합 위상, 냉점 층위, 근접 지평선 방위 템플릿 또는 대상 등급을 가릴 수 있다. 8.10과 8.11은 재료 배치, 임계값 단계, 구동 순서, 링크 청정도 등급, 심지어 그것이 홀드아웃 매개변수 창에 속하는지 여부까지 가리는 방식이 더 적합하다. 핵심은 형식이 하나라는 데 있지 않고, 같은 규율이 하나라는 데 있다. 먼저 무엇이 일어날지 말하고, 그다음 그것이 일어났는지 본다. 먼저 무엇을 보았는지 보고 나서, 자신이 원래부터 그렇게 알았다고 말해서는 안 된다.

블라인드화에는 쉽게 간과되는 또 하나의 가치가 있다. 그것은 EFT가 피드포워드로 예보 가능한 것과 사후에 설명 가능한 것을 구분하도록 강제한다. 종이 위에서는 둘 다 “맞혔다”처럼 보이지만, 과학적 지위는 완전히 다르다. 전자는 결과가 나오기 전에 위험을 걸고 베팅하는 것이고, 후자는 결과가 나온 뒤 그것을 수용할 문법을 찾는 것이다. 8.12가 보호하려는 것은 바로 전자다. 전자만이 이론의 승률을 진정으로 바꿀 수 있기 때문이다.

VI. 세 번째 가드레일: 널 검사 — 가짜상을 새 물리로 오판하지 않기

EFT의 많은 판정선은 “약하지만 규율이 있는” 구조를 읽기를 좋아한다. 무분산 공통항, 환경 단조성, 동위 스케일링, 문턱 뒤 플랫폼, 피드포워드 명중, 교차 탐침 공유 기반 지도가 그렇다. 바로 이런 신호들은 대개 모든 것을 압도할 만큼 큰 총량이 아니라, 순위, 부호, 같은 시간창, 잔차와 분층에 더 가깝기 때문에, 시스템학, 선택 함수, 보정 드리프트, 템플릿 편향과 분석 사슬의 습관이 조용히 위조하기에도 특히 쉽다. 널 검사의 역할은 바로 이런 가짜상을 위한 법정을 따로 세우는 데 있다.

진짜로 단단한 널 검사는 적어도 두 종류를 포함해야 한다.

널 검사는 조연이 아니며, 부록에서 형식적으로 지나가도 되는 절차도 아니다. 8.4에서 시간 반전, 주파수대 치환과 색산 대조가 똑같이 “제로 시간지연 공통항”을 만들어 낸다면, 주 결과는 애초에 설 수 없다. 8.6과 8.7에서 골격을 무작위로 회전시키거나 기반 지도를 교란한 뒤에도 이른바 공선성과 공유 기반 지도가 그대로 성립한다면, 결과는 알고리즘 편향에 더 가깝다. 8.9에서 근접 지평선 세부무늬가 성상화 기준과 템플릿 방향만 바꿔도 똑같이 유의하다면, 식별 신호는 처리 사슬을 먹고 있는 것이다. 8.10과 8.11에서 대체 구성, 가짜 부하, 빈 공동, 끊어진 고전 대조 장부 또는 가짜 임계값 제어가 똑같이 “새 신호”를 만들어 낸다면, 이른바 새 물리는 기기 안에서만 맴돌고 있는 것이다. 주 결과가 널 검사 앞에서 특이성을 지키지 못한다면, 지원으로 승격될 자격이 없다.

또한 널 검사와 별도로 양성 대조도 있어야 한다. 다시 말해 분석 흐름은 “EFT 구조가 없을 때” 올바르게 실패할 수 있어야 할 뿐 아니라, “알려진 구조가 주입되었거나 알려진 물리가 나타나야 할 때” 올바르게 성공할 수 있어야 한다. 한 파이프라인이 가짜상을 부수지도 못하고, 알려진 신호도 회복하지 못한다면, 그 주 결과에는 어떤 점수도 줄 수 없다. 따라서 제8권의 널 검사는 순수한 흠집 내기가 아니다. 그것은 ‘성공해야 할 때 성공하고, 실패해야 할 때 실패한다’는 일을 함께 잠가 두는 절차다.

VII. 네 번째 가드레일: 교차 파이프라인 재검증 — 단일 경로가 진실을 독점하게 하지 않기

제8권에서 가장 위험한 승리의 한 종류는 “데이터 처리 경로만 바꾸면 더 이상 성립하지 않는” 승리다. EFT가 관심을 두는 많은 양은 원래 복잡한 추출 사슬에 의존한다. 배경 차감을 어떻게 하는지, 골격을 어떻게 뽑는지, 렌즈를 어떻게 역산하는지, 고리 상을 어떻게 재구성하는지, 임계값을 어떻게 식별하는지, 원시 흐름의 시간을 어떻게 맞추는지, 노이즈와 사후 선택을 어떻게 분장하는지가 모두 관여한다. 이 단계들 중 어느 하나라도 어떤 팀의 기본 습관에 크게 의존한다면, 단일 파이프라인 안의 예쁜 결과는 결코 자동으로 물리 결론으로 승격될 수 없다.

따라서 8.12가 말하는 교차 파이프라인 재검증은 같은 코드를 난수 시드만 바꾸어 두 번 더 돌리는 일이 절대 아니다. 여기서 요구하는 것은 진정한 독립성이다. 독립적인 전처리 사슬, 독립적인 배경 모형, 독립적인 골격 또는 영상 재구성 방법, 독립적인 피팅 가족, 독립적인 보정 경로가 필요하며, 가능하다면 독립 팀, 독립 기관, 독립 하드웨어 버전까지 더해야 한다. 천문 데이터에서는 서로 다른 서베이 산물, 서로 다른 성상화 또는 역산 파이프라인, 서로 다른 매크로 모형 집합이 같은 방향의 결론을 줄 수 있어야 한다. 실험실 데이터에서는 서로 다른 장치, 서로 다른 제어 소프트웨어, 서로 다른 데이터 수집 및 사후 처리 사슬이 결과의 방향을 마음대로 뒤집지 못해야 한다.

EFT는 여기서 모든 파이프라인이 수치적으로 완전히 같은 답을 내놓기를 요구하지 않는다. 그것이 정말로 필요로 하는 것은 더 소박하면서도 더 위조하기 어려운 것이다. 주 부호가 일치하고, 주 순위가 일치하며, 주 구조가 일치해야 한다. 어떤 신호가 특정한 배경 차감, 특정한 재구성 정규화, 특정한 템플릿 기저, 특정한 사후 선택 창 안에서만 성립하고, 다른 합리적 파이프라인이 들어오면 흩어진다면, 제8권이 가장 정직하게 써야 할 문장은 “논란은 있지만 매우 유망하다”가 아니라, “현재로서는 처리 사슬 관련 힌트일 뿐이다”이다.

교차 파이프라인 재검증은 마지막에 장부 공개와 재계산 가능성으로 내려앉아야 한다. 모든 팀이 모든 중간 파일을 한 번에 완전 공개해야 하는 것은 아니다. 그러나 외부 검토자가 핵심 결정 지점을 볼 수는 있어야 한다. 어떤 표본이 제외되었는지, 어떤 매개변수가 동결되었는지, 어떤 홀드아웃 단원을 건드리지 않았는지, 어떤 널 검사가 실패했는지, 어떤 독립 파이프라인이 동의하지 않았는지를 볼 수 있어야 한다. 이런 장부가 원래 팀의 손안에만 있다면, 외부 세계는 ‘이것이 복잡한 현상인가’와 ‘이것이 복잡한 절차인가’를 구분하기 어렵다.

VIII. 왜 네 가지 가드레일은 병렬로 작동해야 하며, 각자 형식만 갖춰서는 안 되는가

홀드아웃만 하고 블라인드화를 하지 않으면, 추세를 먼저 본 뒤 정교하게 “그럴듯한” 홀드아웃을 고를 수 있다. 블라인드화만 하고 널 검사를 하지 않으면, 답을 훔쳐보지는 않았더라도 시스템 가짜상을 놀라운 결과로 착각할 수 있다. 널 검사만 하고 교차 파이프라인을 하지 않으면, 하나의 분석 경로가 주 결과와 널 검사 양쪽에 같은 편향을 품고 있을 수 있다. 교차 파이프라인만 하고 홀드아웃을 하지 않으면, 여러 팀이 함께 훈련 집합을 거의 신탁처럼 과적합할 수도 있다. 네 가지 가드레일은 네 개의 장식품이 아니라 하나의 사슬이다.

그렇기 때문에 8.12는 매우 흔한 보상 논리를 명확히 거부해야 한다. “홀드아웃은 하지 않았지만 블라인드화는 했다. 널 검사는 보통이지만 교차 파이프라인은 꽤 일관된다. 독립 재검증은 아직 없지만 훈련 집합에서는 특히 아름답다.” 이런 채점법은 홍보에서는 쓸모가 있을지 몰라도, 감사에서는 위반이다. 제8권은 “종합 인상점”을 따내러 온 것이 아니다. 그것이 따내려는 것은 가장 불리한 규칙 아래서도 버틸 수 있는가이다. 핵심 문 하나를 통과하지 못했다면, 다른 문에서 보인 멋진 성과로 그것을 상쇄할 수 없다.

IX. 이 네 가지 가드레일을 8.4부터 8.11까지 어떻게 내려앉힐 것인가

8.4와 8.5에 내려오면, 네 가지 가드레일의 핵심 임무는 “공통항”과 “TPR/PER 분장”이 사후에 꿰매지는 것을 막는 데 있다. 여기서 홀드아웃 집합은 원천 종류, 천구 영역, 주파수대와 사건 창을 남겨 두는 것이 가장 좋다. 블라인드화는 환경 예측 카드와 주량—잔차 분장 규칙을 먼저 동결하도록 요구한다. 널 검사는 색산 법칙 대체물, 시간 반전, 라벨 치환, 관측소 치환을 우선 수행해야 한다. 교차 파이프라인 재검증은 적어도 적색편이 처리 사슬, 시간지연 처리 사슬, 독립 거리 사슬과 렌즈 모델링 사슬을 포괄해야 한다. 이 가드레일들이 갖추어지지 않으면, 8.4와 8.5는 아주 쉽게 다시 “이 그림도 닮았고, 저 그림도 말이 된다”로 미끄러진다.

8.6부터 8.9까지 내려오면, 네 가지 가드레일의 임무는 “공유 기반 지도, 골격 방향, 근접 지평선 세부무늬, 경계 식별 신호”가 이미지 해석학으로 전락하는 것을 막는 데 있다. 여기서 홀드아웃 집합은 홀드아웃 대상, 홀드아웃 시기, 홀드아웃 적색편이 층, 홀드아웃 병합 위상과 홀드아웃 시선 단원을 더 많이 사용해야 한다. 블라인드화는 골격 방향장, 환경 등급, 방위 템플릿, 대상 분류와 식별 신호 예측 카드 위에 걸 수 있다. 널 검사는 템플릿 회전, 무작위 골격, 무작위 마스크, 축밖 대조, 가짜 열점 / 가짜 냉점, 평행 이동과 재표본추출을 특히 강조해야 한다. 교차 파이프라인 재검증은 서로 다른 골격 알고리즘, 서로 다른 질량 재구성, 서로 다른 성상화 방안, 서로 다른 시간지연 추출 사슬이 동시에 같은 방향의 결론을 내놓도록 요구한다.

8.10과 8.11에 내려오면, 네 가지 가드레일은 더욱 느슨해져서는 안 된다. 실험실 판은 “신호가 아름답지만 사실 이 장치와 이 처리 스크립트에서만 성립한다”는 가짜 승리가 가장 쉽게 나타나는 곳이기 때문이다. 여기서 홀드아웃 집합은 매개변수 창 전체, 재료 종류 전체, 장치 한 대 전체 또는 칩 배치 전체가 될 수 있다. 블라인드화는 임계값 단계, 재료 라벨, 구동 순서와 링크 청정도 등급 위에 걸 수 있다. 널 검사는 대체 구성, 빈 공동, 가짜 부하, 반대 극성, 단절 링크 대조, 시간 불일치와 주입-회수를 반드시 포함해야 한다. 교차 파이프라인 재검증은 가능하면 기관 간, 하드웨어 간, 제어 소프트웨어 간으로 밀고 가야 하며, 특히 원시 장부와 사후 선택 장부를 이중 경로로 공개해야 한다. 그래야 제8권이 공학적 우연을 EFT의 새로운 자격으로 잘못 쓰지 않는다.

X. 어떤 방법론적 결과가 진정으로 EFT를 지원하는가

8.12의 관점에서 볼 때, EFT를 진정으로 지원하는 것은 어떤 대상 종류가 “EFT와 더 닮아 보인다”는 사실이 아니다. EFT가 가장 불리한 규칙을 받아들인 뒤에도 여러 판정선에서 구조적 명중을 얻어 내는 것이다. 구체적으로는 적어도 다음 몇 가지가 동시에 나타나야 한다.

이 조건들이 한 줄의 고립된 세부 판정선에서만 성립하는 것이 아니라, 8.4부터 8.11까지의 여러 가족을 가로질러 동시에 성립한다면, EFT는 처음으로 “이야기를 잘하는 이론”이라는 가장 위험한 평가에서 실제로 벗어난다. 그것은 단지 대상을 설명할 줄 아는 것이 아니라, 자신의 설명권이 방법론에 의해 압축되는 것을 받아들이기 때문이다. 더 중요한 것은, 압축된 뒤에도 여전히 남는 것이 있기 때문이다.

한 가지는 더 단단하게 써야 한다. 방법론적 지원 자체에도 층위가 있다. 가장 약한 층위는 어떤 결과가 가드레일 앞에서 넘어지지 않았다는 정도다. 더 강한 층위는 그것이 가드레일 앞에서 넘어지지 않았을 뿐 아니라, 피드포워드 명중, 홀드아웃 견고성, 널 검사 분리 가능성, 교차 팀 같은 방향성을 능동적으로 보여 주는 4중 폐합이다. 제8권이 진정으로 필요한 것은 앞 층위가 아니라 뒤 층위다. 앞 층위는 EFT가 아직 절차적 오류에 잡히지 않았다는 것만 말해 주지만, 뒤 층위는 그것이 절차적 신뢰를 얻기 시작했다는 것을 말해 주기 때문이다.

XI. 어떤 결과는 조임일 뿐, 곧바로 탈락은 아니다

방법론적 어려움이 모두 곧바로 EFT를 다시 쓰기 구역으로 되돌리는 것은 아니다. 어떤 결과는 폐기보다 조임에 더 가깝다.

XII. 어떤 결과가 직접 구조적 손상을 주는가

방법론적 구조적 손상에는 종종 과소평가되는 또 하나의 경우가 있다. 규칙이 항상 결과가 나온 뒤에 업그레이드되는 경우다. 오늘은 같은 방향을 보겠다고 말하고, 내일은 순위를 보겠다고 말하며, 모레는 강한 환경 부분표본만 보겠다고 말한다. 오늘은 두 세트의 파이프라인이면 충분하다고 말하고, 내일은 불일치가 생겼다는 이유로 그중 하나만 믿겠다고 바꾼다. 오늘은 홀드아웃 천구 영역이라고 말하고, 내일은 방향이 뒤집혔다는 이유로 홀드아웃 주파수대라고 바꾼다. 이런 “규칙이 결과를 쫓아 달리는” 현상이 장기적으로 존재한다면, 8.12는 반드시 그것을 중상으로 판정해야 한다. 이는 EFT가 아직 자신을 고정된 규칙에 넘기는 법을 배우지 못했다는 뜻이기 때문이다.

XIII. 어떤 경우는 오늘 아직 판정할 수 없는가

합리적이지만 위험한 또 다른 “아직 판정하지 않음”도 있다. 대상이 너무 희귀하고, 플랫폼이 너무 비싸며, 재현 실험 주기가 너무 긴 경우다. 예컨대 어떤 근접 지평선 세부무늬, 극한 병합 또는 고비용 양자 링크는 실제로 일반 실험처럼 빠르게 여러 기관의 재검증을 마칠 수 없다. 이런 상황에서 8.12는 잠시 “증거 밀도 부족”을 허용할 수 있다. 그러나 그것을 “그러므로 일단 지원으로 장부에 적자”로 몰래 바꾸는 것은 절대 허용하지 않는다. 제8권의 문법에서 비싸고 희귀하다는 사실은 판정을 늦출 수는 있어도, 승률을 높일 수는 없다.

XIV. “설명할 수 있음”을 “심사를 견딜 수 있음”으로 착각하지 말라: 본 절의 가장 중요한 전환

이 절이 보충한 것은 몇 가지 추가 기술 요구가 아니라, 전권의 자세를 해석학에서 심사받는 문법으로 돌려놓는 일이다. 해석학이 가장 잘하는 일은 모든 새 대상 위에 그것을 안착시킬 문장 하나를 찾는 것이다. 심사받는 문법은 그 반대다. 먼저 자신을 묶어 놓고, 그 뒤에 자신에게 무엇이 남는지를 묻는다. EFT처럼 기반 지도를 다시 쓰려는 이론에게 이 전환은 특히 중요하다. 그것이 더 말할 수 있을수록 먼저 침묵하는 법을 배워야 하고, 더 잘 설명할 수 있을수록 먼저 가장 불리한 규칙을 받아들여야 한다.

이것이 본 절에서 가장 기억되어야 할 뜻이기도 하다. 반증이 진짜로 무서운 이유는 적이 얼마나 강한가에 있지 않고, 자신이 가장 불리한 규칙으로 자신을 심사할 의지가 있는가에 있다. EFT가 이렇게 하려 하지 않는다면, 설령 다른 사람이 한동안 그것을 반박하지 못하더라도 그것은 여전히 이야기를 잘하는 이론일 뿐이다. 반대로 가장 불리한 규칙 아래에서 일부 창만 이긴다 해도, 그 일부의 승리는 가드레일을 거치지 않은 아름다운 설명 한 권 전체보다 더 무겁다.

XV. 본 절 소결

제8권이 성립할 수 있는지는 그것이 무엇을 보았는지에만 달려 있지 않다. 그것이 홀드아웃 집합, 블라인드화, 널 검사와 교차 파이프라인 재검증이라는 네 가지 방법론적 문 앞에서 먼저 자신에게 불리한 조건을 감수하려 하는지에 달려 있다. EFT가 먼저 자신을 불편하게 만드는 이 규칙을 받아들일 때에야, 그 뒤에 얻는 어떤 지원도 자기 서사의 메아리에 그치지 않을 수 있다.