한줄 요약: 이 논문에서는 대규모 추론 모델(LRM)의 불확실성을 정량화하고 설명하기 위한 새로운 프레임워크인 CoRAP을 제안합니다.

논리적 상관관계(중간과정에서), 불확실성을 정량화 고려    
(보통은 confidence 점수나 entropy로 측정)  
여기서는 특이하게 정답과 타당한 추론을 포함하는 예측 집합(prediction set)의 크기와 실패 확률로 측정(즉 여러번 시행해서 set에 들 확률)  


짧은 요약(Abstract) :

이 논문은 대규모 추론 모델(Large Reasoning Models, LRM)의 생성 불확실성을 정량화하고 이해하는 방법에 대해 다룹니다. LRM은 복잡한 추론에서 상당한 개선을 보여주었지만, 기존의 불확실성 정량화 방법은 유한 샘플 보장을 제공하지 못하는 경우가 많습니다. 이 논문에서는 통계적으로 엄격한 불확실성 집합을 구성하는 비모수적이고 모델 불변의 방법론인 정형 예측(Conformal Prediction, CP)을 제안합니다. 그러나 기존의 CP 방법은 추론 과정과 최종 답변 간의 논리적 연결을 무시하고 있으며, 불확실성의 기원을 해석하는 데 실패하고 있습니다. 이를 해결하기 위해, 저자들은 추론-답변 구조에서 불확실성을 정량화하는 새로운 방법론을 제안하고, Shapley 값을 사용하여 훈련 예제와 주요 추론 단계를 식별하는 통합 설명 프레임워크를 개발했습니다. 이 방법은 이론적 분석을 제공하며, 복잡한 추론 데이터셋에 대한 광범위한 실험을 통해 효과성을 검증합니다.


This paper addresses the quantification and understanding of generation uncertainty in Large Reasoning Models (LRMs). While LRMs have shown significant improvements in complex reasoning, traditional methods for quantifying uncertainty often lack finite-sample guarantees. The authors propose a distribution-free and model-agnostic methodology known as Conformal Prediction (CP), which constructs statistically rigorous uncertainty sets. However, existing CP methods overlook the logical connection between the reasoning trace and the final answer, and they fail to interpret the origins of uncertainty. To tackle these challenges, the authors introduce a novel methodology that quantifies uncertainty in the reasoning-answer structure and develop a unified explanation framework using Shapley values to identify pivotal training examples and key reasoning steps. The proposed methods are supported by theoretical analyses and validated through extensive experiments on challenging reasoning datasets.


* Useful sentences :


Paper link Lecture link


단어정리

*


Methodology

이 논문에서는 대규모 추론 모델(Large Reasoning Models, LRM)의 불확실성을 정량화하고 설명하기 위한 새로운 프레임워크인 CoRAP(Conformal Reasoning-Answer Prediction)를 제안합니다. CoRAP는 추론-답변 구조의 불확실성을 정량화하는 데 있어 통계적 보장을 제공하는 방법론입니다. 이 방법론은 다음과 같은 주요 구성 요소로 이루어져 있습니다.

  1. 모델 아키텍처: CoRAP는 LRM의 추론 과정에서 생성된 중간 단계와 최종 답변 간의 논리적 상관관계를 고려합니다. 이를 통해 모델이 생성한 답변이 유효한 추론 과정을 기반으로 하고 있는지를 검증할 수 있습니다. LRM은 입력에 대한 추론 경로를 명시적으로 생성하여 복잡한 문제를 해결하는 데 도움을 줍니다.

  2. 훈련 데이터: CoRAP는 훈련 데이터셋 Dtr = {(xj, qj, rj, yj)}로 구성됩니다. 여기서 각 인스턴스는 입력 이미지(xj), 질문(qj), 추론 경로(rj), 최종 답변(yj)로 이루어져 있습니다. 이 데이터셋은 모델이 다양한 추론 경로를 학습하고, 이를 통해 복잡한 문제를 해결할 수 있도록 돕습니다.

  3. 불확실성 정량화: CoRAP는 불확실성을 정량화하기 위해 세 가지 품질 함수를 정의합니다. 첫째, 시퀀스 품질 함수(Q)는 전체 응답의 신뢰성을 평가합니다. 둘째, 집합 신뢰도 함수(F)는 후보 집합 내에서 최소한 하나의 고신뢰도 후보가 존재하는지를 확인합니다. 셋째, 조건부 답변 품질 함수(A)는 추론 경로가 최종 답변을 지지하는지를 평가합니다.

  4. 계층적 설명 프레임워크: CoRAP는 Shapley 값을 사용하여 훈련 데이터의 각 예제가 불확실성 보장에 기여하는 정도를 정량화합니다. 이 계층적 접근 방식은 예제 수준과 단계 수준에서 각각의 기여를 평가하여, 불확실성을 보장하는 데 필요한 중요한 훈련 예제와 추론 단계를 식별합니다.

  5. 이론적 분석: CoRAP는 이론적으로 검증된 방법론으로, 불확실성 정량화 및 설명 방법의 유효성을 보장합니다. 이론적 분석을 통해 CoRAP의 성능을 정량적으로 평가하고, 다양한 실험을 통해 그 효과를 입증합니다.

이러한 방법론을 통해 CoRAP는 LRM의 불확실성을 효과적으로 정량화하고, 그 기원을 설명할 수 있는 강력한 도구로 자리 잡고 있습니다.

This paper proposes a novel framework called CoRAP (Conformal Reasoning-Answer Prediction) for quantifying and explaining uncertainty in Large Reasoning Models (LRMs). CoRAP is designed to provide statistical guarantees in quantifying the uncertainty of the reasoning-answer structure. The framework consists of the following key components:

  1. Model Architecture: CoRAP considers the logical connections between the reasoning process and the final answer generated by the LRM. This allows for the verification of whether the answer produced by the model is supported by a valid reasoning process. LRMs explicitly generate reasoning paths to assist in solving complex problems.

  2. Training Data: CoRAP utilizes a training dataset Dtr = {(xj, qj, rj, yj)}. Each instance consists of an input image (xj), a query (qj), a reasoning trace (rj), and a final answer (yj). This dataset helps the model learn various reasoning paths, enabling it to tackle complex problems effectively.

  3. Uncertainty Quantification: CoRAP defines three quality functions to quantify uncertainty. First, the sequence quality function (Q) assesses the reliability of the entire response. Second, the set confidence function (F) checks whether there is at least one high-confidence candidate in the candidate set. Third, the conditional answer quality function (A) evaluates whether the reasoning trace supports the final answer.

  4. Hierarchical Explanation Framework: CoRAP employs Shapley values to quantify the contribution of each training example to the uncertainty coverage. This hierarchical approach evaluates contributions at both the example level and the step level, identifying the crucial training examples and reasoning steps necessary to ensure uncertainty guarantees.

  5. Theoretical Analysis: CoRAP is a theoretically validated methodology that guarantees the effectiveness of its uncertainty quantification and explanation methods. The theoretical analysis quantitatively evaluates the performance of CoRAP, and extensive experiments demonstrate its effectiveness.

Through these methodologies, CoRAP serves as a powerful tool for effectively quantifying uncertainty in LRMs and explaining its origins.


Results

이 논문에서는 대규모 추론 모델(Large Reasoning Models, LRM)의 불확실성을 정량화하고 이해하기 위한 새로운 방법론인 CoRAP(Conformal Reasoning-Answer Prediction)를 제안합니다. CoRAP는 불확실성 집합을 구성하는 데 있어 통계적 보장을 제공하며, 이를 통해 모델의 신뢰성을 높이는 데 기여합니다. 실험 결과는 CLEVR-Math와 ScienceQA라는 두 가지 도전적인 데이터셋에서 수행되었습니다.

실험 결과 요약

  1. 경쟁 모델: CoRAP는 CP-Router라는 기존의 불확실성 정량화 방법과 비교되었습니다. CP-Router는 LRM에 맞춰 설계된 방법이지만, CoRAP는 더 나은 성능을 보였습니다.

  2. 테스트 데이터: CLEVR-Math와 ScienceQA 데이터셋을 사용하여 실험을 진행했습니다. CLEVR-Math는 시각적 맥락에서 수학적 추론을 평가하는 데이터셋이며, ScienceQA는 다양한 과학 분야의 질문을 포함하는 대규모 멀티모달 벤치마크입니다.

  3. 메트릭: 실험에서는 두 가지 주요 메트릭을 사용했습니다:
    • 유효성 (Validity): CoRAP의 불확실성 집합이 실제 정답을 포함하는지 여부를 평가했습니다. CoRAP는 다양한 유의 수준(α=0.3, 0.4, 0.5 등)에서 실험을 수행하였고, 결과적으로 CoRAP의 경험적 손실이 목표 유의 수준을 초과하지 않음을 보여주었습니다.
    • 효율성 (Efficiency): CoRAP가 생성하는 불확실성 집합의 크기를 평가했습니다. CoRAP는 CP-Router에 비해 더 작은 집합을 생성하여 효율성을 입증했습니다. 예를 들어, CLEVR-Math에서 CoRAP는 평균 2.76의 집합 크기를 기록했으며, CP-Router는 5.00의 집합 크기를 기록했습니다.
  4. 비교: CoRAP는 CP-Router와 비교하여 유효성과 효율성 모두에서 우수한 성능을 보였습니다. CoRAP는 불확실성 집합의 크기를 줄이면서도 정답을 포함하는 집합을 생성하는 데 성공했습니다. 또한, CoRAP는 훈련 데이터의 특정 예제와 추론 단계를 식별하여 불확실성의 기원을 설명하는 데도 효과적이었습니다.

이러한 결과는 CoRAP가 LRM의 불확실성을 정량화하고 설명하는 데 있어 강력한 도구임을 입증하며, 향후 다양한 데이터셋과 상황에서의 적용 가능성을 제시합니다.

This paper proposes a novel methodology called CoRAP (Conformal Reasoning-Answer Prediction) for quantifying and understanding uncertainty in Large Reasoning Models (LRMs). CoRAP constructs uncertainty sets with statistical guarantees, contributing to the reliability of the models. The experimental results were conducted on two challenging datasets: CLEVR-Math and ScienceQA.

Summary of Experimental Results

  1. Competing Models: CoRAP was compared against an existing uncertainty quantification method called CP-Router. While CP-Router is tailored for LRMs, CoRAP demonstrated superior performance.

  2. Test Data: The experiments utilized the CLEVR-Math and ScienceQA datasets. CLEVR-Math assesses mathematical reasoning in visual contexts, while ScienceQA is a large-scale multimodal benchmark covering various scientific questions.

  3. Metrics: Two primary metrics were employed in the experiments:
    • Validity: This metric evaluated whether the uncertainty sets generated by CoRAP contained the true answers. CoRAP was tested under various significance levels (α=0.3, 0.4, 0.5), and the results showed that the empirical losses of CoRAP did not exceed the target significance levels.
    • Efficiency: This metric assessed the size of the uncertainty sets produced by CoRAP. CoRAP consistently generated smaller sets compared to CP-Router, demonstrating its efficiency. For instance, on CLEVR-Math, CoRAP achieved an average set size of 2.76, while CP-Router had an average size of 5.00.
  4. Comparison: CoRAP outperformed CP-Router in both validity and efficiency. It successfully generated uncertainty sets that included the correct answers while reducing the size of the sets. Additionally, CoRAP effectively identified specific training examples and reasoning steps to explain the origins of uncertainty.

These results demonstrate that CoRAP is a powerful tool for quantifying and explaining uncertainty in LRMs, suggesting its applicability in various datasets and scenarios in the future.


예제

이 논문에서는 대규모 추론 모델(Large Reasoning Models, LRM)의 불확실성을 정량화하고 이해하는 방법을 제안합니다. 이 방법은 특히 복잡한 추론 작업에서 모델의 신뢰성을 높이는 데 중점을 두고 있습니다. 다음은 이 연구에서 다루는 예시와 관련된 구체적인 입력 및 출력, 그리고 작업의 세부 사항입니다.

예시 1: 수학적 추론

  • 트레이닝 데이터:
    • 입력: 이미지 (예: 다양한 색상과 모양의 3D 기하학적 객체), 질문 (예: “빨간 구체가 몇 개 있나요?”)
    • 추론 과정: 모델은 이미지에서 객체를 인식하고, 질문에 대한 답을 찾기 위해 여러 단계를 거칩니다. 예를 들어, “현재 빨간 구체가 2개 있습니다. 추가로 3개를 더하면 총 5개가 됩니다.”
    • 출력: 최종 답변 (예: “5”)
  • 테스트 데이터:
    • 입력: 새로운 이미지 (예: 파란색 큐브와 빨간 구체가 있는 장면), 질문 (예: “빨간 구체를 4개 추가하면 총 몇 개가 되나요?”)
    • 추론 과정: 모델은 이미지에서 빨간 구체의 수를 세고, 질문에 따라 추가할 개수를 계산합니다. 예를 들어, “현재 빨간 구체가 1개 있습니다. 4개를 추가하면 총 5개가 됩니다.”
    • 출력: 최종 답변 (예: “5”)

예시 2: 과학 질문 응답

  • 트레이닝 데이터:
    • 입력: 이미지 (예: 식물의 사진), 질문 (예: “이 식물의 이름은 무엇인가요?”)
    • 추론 과정: 모델은 이미지를 분석하고, 관련된 정보를 바탕으로 식물의 이름을 추론합니다.
    • 출력: 최종 답변 (예: “장미”)
  • 테스트 데이터:
    • 입력: 새로운 이미지 (예: 다른 식물의 사진), 질문 (예: “이 식물은 어떤 종류인가요?”)
    • 추론 과정: 모델은 새로운 이미지를 분석하고, 훈련 데이터에서 학습한 내용을 바탕으로 식물의 종류를 추론합니다.
    • 출력: 최종 답변 (예: “해바라기”)

이러한 예시들은 LRM이 어떻게 복잡한 추론을 수행하고, 그 과정에서 불확실성을 정량화하는지를 보여줍니다. 모델은 각 단계에서의 추론 과정을 명확히 하여, 최종 답변이 신뢰할 수 있는지 평가합니다.

This paper proposes a method to quantify and understand uncertainty in Large Reasoning Models (LRMs), focusing on enhancing the reliability of models in complex reasoning tasks. Below are specific examples related to the inputs and outputs, as well as the details of the tasks discussed in this research.

Example 1: Mathematical Reasoning

  • Training Data:
    • Input: An image (e.g., a scene with various colored and shaped 3D geometric objects), a question (e.g., “How many red spheres are there?”)
    • Reasoning Process: The model recognizes objects in the image and goes through several steps to find the answer to the question. For instance, “Currently, there are 2 red spheres. If we add 3 more, the total will be 5.”
    • Output: Final answer (e.g., “5”)
  • Test Data:
    • Input: A new image (e.g., a scene with a blue cube and red spheres), a question (e.g., “If I add 4 red spheres, how many will there be in total?”)
    • Reasoning Process: The model counts the number of red spheres in the image and calculates the total based on the question. For example, “Currently, there is 1 red sphere. Adding 4 more will make it 5.”
    • Output: Final answer (e.g., “5”)

Example 2: Science Question Answering

  • Training Data:
    • Input: An image (e.g., a photo of a plant), a question (e.g., “What is the name of this plant?”)
    • Reasoning Process: The model analyzes the image and infers the name of the plant based on related information.
    • Output: Final answer (e.g., “Rose”)
  • Test Data:
    • Input: A new image (e.g., a photo of a different plant), a question (e.g., “What type of plant is this?”)
    • Reasoning Process: The model analyzes the new image and infers the type of plant based on what it learned from the training data.
    • Output: Final answer (e.g., “Sunflower”)

These examples illustrate how LRMs perform complex reasoning and quantify uncertainty in the process. The model clarifies the reasoning steps at each stage to evaluate whether the final answer is reliable.


요약

이 논문에서는 대규모 추론 모델(LRM)의 불확실성을 정량화하고 설명하기 위한 새로운 프레임워크인 CoRAP을 제안합니다. 실험 결과, CoRAP은 기존 방법들보다 더 작은 예측 집합을 생성하면서도 통계적 유효성을 유지하며, 훈련 예제와 추론 단계의 기여도를 효과적으로 식별합니다. 이로 인해 LRM의 복잡한 추론 작업에서 신뢰할 수 있는 불확실성 정량화와 해석 가능성을 보장합니다.

This paper proposes a novel framework called CoRAP for quantifying and explaining uncertainty in Large Reasoning Models (LRMs). Experimental results show that CoRAP generates smaller prediction sets while maintaining statistical validity compared to existing methods, effectively identifying the contributions of training examples and reasoning steps. This ensures reliable uncertainty quantification and interpretability in complex reasoning tasks of LRMs.


기타

  1. 다이어그램 및 피규어
    • Figure 1: 이 피규어는 CoRAP의 유효성과 효율성을 보여줍니다. CoRAP는 다양한 α 값에서 목표 수준을 초과하지 않는 낮은 경험적 손실을 유지하여 유효성을 입증합니다. 반면, CP-Router는 여러 설정에서 목표 수준을 초과하는 손실을 보입니다. 이는 CoRAP가 더 신뢰할 수 있는 불확실성 정량화 방법임을 나타냅니다.
    • Figure 2: CLEVR-Math 예제에서 CoRAP의 예측 세트를 시각화합니다. CoRAP는 두 개의 추론 경로만 포함된 컴팩트한 세트를 생성하여 올바른 답변을 포함하는 반면, CP-Router는 더 많은 경로를 포함하지만 잘못된 추론을 포함합니다.
    • Figure 3: CoRAP의 실행 시간을 FullFT 및 LoRA와 비교합니다. CoRAP는 데이터 수가 증가함에 따라 실행 시간이 크게 줄어드는 것을 보여주며, 이는 CoRAP의 효율성을 강조합니다.
    • Figure 4: CoRAP의 유효성과 효율성에 대한 보정 세트 크기의 영향을 보여줍니다. CoRAP는 경험적 손실을 목표 수준 아래로 유지하며, 보정 세트 크기가 증가함에 따라 손실 변동성이 줄어드는 경향을 보입니다.
    • Figure 5: 최대 샘플링 예산 Kmax의 영향을 분석합니다. CoRAP는 Kmax가 증가함에 따라 예측 세트 크기가 안정화되는 경향을 보이며, 이는 CoRAP의 계산 효율성을 나타냅니다.
  2. 테이블
    • Table 1: 데이터 수준 설명의 결과를 보여줍니다. CoRAP는 무작위 샘플링 기준선에 비해 높은 Shapley 값과 성공률을 기록하여, 중요한 훈련 예제를 효과적으로 식별함을 나타냅니다.
    • Table 2: 단계 수준 설명의 결과를 보여줍니다. CoRAP는 무작위 기준선에 비해 높은 Shapley 값과 성공률을 기록하여, 중요한 추론 단계를 효과적으로 식별함을 나타냅니다.
    • Table 3: 다양한 ε 수준에서 CoRAP의 경험적 확률과 예측 세트 크기를 보여줍니다. CoRAP는 모든 ε 수준에서 목표를 초과하는 경험적 확률을 유지하며, 이는 CoRAP의 신뢰성을 강조합니다.
  3. 어펜딕스
    • 어펜딕스에서는 CoRAP의 알고리즘, 이론적 증명, 실험 세부 사항 및 추가 결과를 제공합니다. CoRAP의 알고리즘은 불확실성 정량화 및 설명을 위한 체계적인 절차를 설명하며, 이론적 증명은 CoRAP의 유효성을 보장합니다. 실험 세부 사항은 데이터 세트, 모델, 파라미터 설정 등을 포함하여 연구의 재현성을 높입니다.
  1. Diagrams and Figures
    • Figure 1: This figure demonstrates the validity and efficiency of CoRAP. It shows that CoRAP maintains low empirical loss below the target level across various α values, proving its validity. In contrast, CP-Router exceeds the target levels in multiple settings, indicating that CoRAP is a more reliable uncertainty quantification method.
    • Figure 2: Visualizes the prediction set of CoRAP on a CLEVR-Math example. CoRAP generates a compact set containing only two reasoning paths that include the correct answer, while CP-Router includes more paths but contains flawed reasoning.
    • Figure 3: Compares the running time of CoRAP against FullFT and LoRA. It shows that CoRAP significantly reduces execution time as the amount of data increases, highlighting its efficiency.
    • Figure 4: Examines the influence of calibration set size on CoRAP’s validity and efficiency. CoRAP consistently keeps empirical loss below the target level, and increasing the calibration size reduces loss variance.
    • Figure 5: Analyzes the impact of the maximum sampling budget Kmax. CoRAP shows a trend of stabilizing prediction set sizes as Kmax increases, indicating its computational efficiency.
  2. Tables
    • Table 1: Shows results for data-level explanations. CoRAP achieves higher Shapley values and success rates compared to a random sampling baseline, indicating effective identification of pivotal training examples.
    • Table 2: Displays results for step-level explanations. CoRAP again outperforms the random baseline with higher Shapley values and success rates, effectively identifying critical reasoning steps.
    • Table 3: Presents empirical probabilities and prediction set sizes of CoRAP across different ε levels. CoRAP maintains empirical probabilities exceeding the target across all ε levels, emphasizing its reliability.
  3. Appendix
    • The appendix provides detailed procedures for CoRAP, theoretical proofs, experimental details, and additional results. The algorithm outlines a systematic approach for uncertainty quantification and explanation, while the theoretical proofs ensure the validity of CoRAP. Experimental details include datasets, models, and parameter settings to enhance the reproducibility of the study.


refer format:

BibTeX 형식

@inproceedings{Li2026,
  author    = {Yangyi Li and Chenxu Zhao and Mengdi Huai},
  title     = {Quantifying and Understanding Uncertainty in Large Reasoning Models},
  booktitle = {Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)},
  pages     = {32741--32754},
  year      = {2026},
  month     = {July},
  publisher = {Association for Computational Linguistics},
  address   = {Iowa State University},
  email     = {liyangyi@iastate.edu, cxzhao@iastate.edu, mdhuai@iastate.edu}
}

시카고 스타일

Yangyi Li, Chenxu Zhao, and Mengdi Huai. “Quantifying and Understanding Uncertainty in Large Reasoning Models.” In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 32741–32754. July 2026. Association for Computational Linguistics. Iowa State University.