한줄 요약: 이 논문에서는 LLM을 활용한 계획 언어 생성의 통합 프레임워크를 제안하며, 다양한 중간 표현(IR)을 통해 기존의 산발적인 방법들을 체계적으로 평가하고 개선하는 방법을 모색합니다.


짧은 요약(Abstract) :


이 논문의 초록에서는 대규모 언어 모델(LLM)을 활용한 계획 생성 방법론에 대해 설명하고 있습니다. 기존의 연구들은 LLM을 사용하여 계획을 직접 생성하는 것이 아니라, 계획 언어의 형식적 표현을 생성하여 이를 기호적 해결기에 입력함으로써 결정론적으로 계획을 찾는 방법을 제안하고 있습니다. 이러한 접근 방식은 신뢰성을 높이고 성능을 향상시키는 데 기여하고 있지만, 다양한 벤치마크와 실험 설정에서 산발적으로 제안된 여러 방법들이 존재합니다. 본 연구에서는 이러한 LLM을 형식화하는 방법론을 통합하기 위한 조직적 프레임워크를 제안하고, 기존 연구의 대부분을 포함하는 12개 이상의 파이프라인을 체계적으로 평가합니다. 또한, 새로운 고급 자원 중간 언어를 포함한 파이프라인을 제안하고, 이들의 다양한 구성 요소의 효능을 보여주며 문제 복잡성에 대한 강건성을 입증합니다.



The abstract of this paper describes a methodology for planning generation using large language models (LLMs). Previous research has proposed using LLMs not to directly generate plans but to create formal representations in planning languages, which can then be input into symbolic solvers to deterministically find plans. This approach has contributed to improved reliability and performance, but there are numerous scattered methods proposed across various benchmarks and experimental settings. This study aims to unify the LLM-as-formalizer methodology by proposing an organizational framework and systematically evaluating over a dozen pipelines that encompass most existing work. Additionally, it introduces novel pipelines involving high-resource intermediate languages and demonstrates the efficacy of their various components while evidencing their robustness against problem complexity.


* Useful sentences :


Paper link Lecture link


단어정리

*


Methodology

한글 설명

이 논문에서는 LLM(대형 언어 모델)을 활용한 계획 언어 생성의 통합 방법론을 제안합니다. 기존의 연구들은 LLM을 사용하여 계획을 직접 생성하는 대신, LLM을 통해 형식적인 계획 언어의 표현을 생성하고 이를 기호적 해결기에 입력하여 결정론적으로 계획을 찾는 접근 방식을 채택하고 있습니다. 이러한 접근 방식은 신뢰성과 성능 면에서 개선된 결과를 보여주고 있지만, 다양한 벤치마크와 실험 설정에서 산발적으로 제안된 여러 방법들이 존재합니다.

이 연구의 주요 목표는 LLM을 형식화하는 방법론을 통합하는 것입니다. 이를 위해 중간 표현(intermediate representation, IR)의 수와 상호작용에 기반한 조직적 프레임워크를 제안합니다. 이 프레임워크는 PDDL(계획 도메인 정의 언어) 생성을 위한 추론 시간 기술에 중점을 두며, 테스트 시간의 계산이 성능을 좌우합니다. LLM은 자연어 사양을 형식 모델로 변환할 수 있지만, 단일 생성은 취약하여 작은 구문적 또는 의미적 오류가 전체 계획을 무효화할 수 있습니다. 다단계 추론 파이프라인은 생성을 검증 가능한 단계로 구조화하여 이러한 취약성을 완화합니다.

이 연구에서는 4개의 표준 벤치마크(IPC, 1998)를 사용하여 IR과 해결자 피드백에 의한 수정이 성공적인 LLM-형식화 파이프라인의 핵심 요소임을 보여줍니다. 특히 문제의 복잡성이 증가할수록 LLM-형식화 방법론이 LLM-계획 방법론보다 일관되게 우수한 성능을 발휘하는 것을 확인했습니다. 이 연구는 LLM-형식화 및 계획 분야의 발전을 가속화하는 기초 작업으로 자리매김할 것입니다.

This paper proposes a unified methodology for planning language generation using LLMs (Large Language Models). Existing research has adopted an approach where LLMs are used not to generate plans directly, but to generate formal representations in some planning language, which can then be input into a symbolic solver to deterministically find a plan. This approach has shown improved trust and performance, but there are numerous scattered methods proposed across various benchmarks and experimental settings.

The main goal of this research is to unify the LLM-as-formalizer methodology. To achieve this, we propose an organizational framework based on the number and interplay of intermediate representations (IRs). This framework focuses on inference-time techniques for PDDL (Planning Domain Definition Language) generation, where test-time computation drives performance. While LLMs can translate natural language specifications into formal models, a single generation is fragile, as small syntactic or semantic errors can invalidate the entire plan. Multi-stage inference pipelines mitigate this brittleness by structuring generation into verifiable steps.

We systematically evaluate more than a dozen pipelines that encompass most existing work while proposing novel ones that involve high-resource intermediate languages, such as a Python wrapper of PDDL. We demonstrate that IR and revision by solver feedback are key ingredients of a successful LLM-as-formalizer pipeline, which consistently outperforms LLM-as-planner, especially as problem complexity increases. This work serves as a foundational effort to greatly accelerate progress in LLM-as-formalizer and planning.


Results

이 연구에서는 LLM(대형 언어 모델)을 활용한 계획 언어 생성의 통합 프레임워크를 제안하고, 다양한 파이프라인을 평가하여 성능을 비교했습니다. 실험은 BlocksWorld, Logistics, Sokoban, CoinCollector와 같은 네 가지 표준 벤치마크 환경에서 수행되었습니다.

경쟁 모델

연구에서는 QwQ-32B, Qwen3-32B, gpt-oss-120b, GLM-4.5-Air-FP8의 네 가지 최신 오픈 소스 LLM을 사용하여 성능을 비교했습니다. 이 모델들은 각각 32B, 32B, 120B, 106B의 파라미터를 가지고 있으며, 다양한 파이프라인에서의 성능을 평가하기 위해 vLLM을 사용하여 추론 속도를 높였습니다.

테스트 데이터

각 환경은 100개의 도메인 설명, 문제 설명, 그리고 그라운드 트루스 도메인 및 문제 파일로 구성된 데이터셋을 사용했습니다. 이 데이터셋은 각 환경의 복잡성을 반영하며, 다양한 블록 수와 상태를 포함하고 있습니다.

메트릭

성능 평가는 두 가지 주요 메트릭을 사용하여 수행되었습니다:

  1. 구문 정확도(Syntactic Accuracy): 생성된 PDDL에서 구문 오류가 없는 비율을 측정합니다.
  2. 계획 정확도(Plan Accuracy): 솔버가 찾은 계획이 올바른지 여부를 평가합니다. 이는 생성된 계획이 초기 상태에서 목표 상태로의 전환을 성공적으로 수행하는지를 기준으로 합니다.

비교

실험 결과, LLM-as-formalizer 파이프라인이 LLM-as-planner보다 전반적으로 더 높은 성능을 보였습니다. 특히, Level 3 파이프라인(PDDL → PDDL → PDDL)은 8개의 LLM-도메인 조합 중 6개에서 가장 높은 계획 정확도를 기록했습니다. 반면, LLM-as-planner는 문제의 복잡성이 증가함에 따라 성능이 급격히 감소하는 경향을 보였습니다. 예를 들어, 블록 수가 20개에 도달할 때 LLM-as-planner의 성능은 절반으로 줄어들었고, 50개에 도달할 때는 0으로 떨어졌습니다. 반면, LLM-as-formalizer는 복잡성이 증가해도 상대적으로 더 높은 성능을 유지했습니다.

이 연구는 LLM-as-formalizer의 강력한 성능을 입증하며, 다양한 IR(중간 표현)을 활용한 파이프라인 설계의 중요성을 강조합니다. 또한, 이 연구는 LLM 기반 계획 언어 생성의 발전을 가속화할 수 있는 기초 작업으로 자리 잡을 것입니다.

In this study, we proposed a unifying framework for planning language generation using LLMs (Large Language Models) and systematically evaluated various pipelines to compare their performance. The experiments were conducted in four standard benchmark environments: BlocksWorld, Logistics, Sokoban, and CoinCollector.

Competing Models

The study utilized four recent open-source LLMs: QwQ-32B, Qwen3-32B, gpt-oss-120b, and GLM-4.5-Air-FP8 for performance comparison. These models have 32B, 32B, 120B, and 106B parameters, respectively, and vLLM was employed to enhance inference speed for evaluating performance across different pipelines.

Test Data

Each environment used a dataset consisting of 100 tuples of domain descriptions, problem descriptions, and ground-truth domain and problem files. This dataset reflects the complexity of each environment and includes various numbers of blocks and states.

Metrics

Performance evaluation was conducted using two main metrics:

  1. Syntactic Accuracy: The percentage of generated PDDL that has no syntax errors.
  2. Plan Accuracy: The evaluation of whether the plan found by the solver is correct. This is based on whether the generated plan successfully transitions from the initial state to the goal state.

Comparison

The experimental results showed that the LLM-as-formalizer pipelines generally outperformed the LLM-as-planner. In particular, the Level 3 pipeline (PDDL → PDDL → PDDL) achieved the highest plan accuracy in 6 out of 8 LLM-domain combinations. In contrast, the LLM-as-planner exhibited a sharp decline in performance as the complexity of the problems increased. For instance, when the number of blocks reached 20, the performance of the LLM-as-planner halved, and it dropped to zero when the number reached 50. In contrast, the LLM-as-formalizer maintained relatively higher performance despite the increase in complexity.

This study demonstrates the strong performance of LLM-as-formalizer and emphasizes the importance of designing pipelines that utilize various intermediate representations (IRs). Furthermore, this work serves as a foundational effort to accelerate advancements in LLM-assisted planning language generation.


예제

이 논문에서는 LLM(대형 언어 모델)을 활용한 계획 언어 생성의 통합 방법론을 제안합니다. 연구의 주요 목표는 LLM을 사용하여 자연어로 기술된 문제를 PDDL(계획 도메인 정의 언어) 형식으로 변환하고, 이를 통해 계획을 수립하는 것입니다. 이 과정에서 LLM은 직접적으로 계획을 생성하는 것이 아니라, 계획 언어의 형식적 표현을 생성하여 이를 기호적 해결기에 입력함으로써 결정론적으로 계획을 찾는 방식입니다.

예시: 블록 쌓기 문제

  1. 도메인 설명 (Domain Description):
    • 개요: 블록을 쌓는 작업을 수행하는 도메인입니다.
    • 엔티티 타입:
      • 블록: 조작할 수 있는 개별 블록을 나타냅니다.
    • 프레디케이트:
      • clear(b): 블록 b가 위에 다른 블록이 없고 들고 있지 않을 때 참입니다.
      • on(b, under): 블록 b가 블록 under 위에 있을 때 참입니다.
      • ontable(b): 블록 b가 테이블 위에 있을 때 참입니다.
      • holding(b): 블록 b가 손에 들려 있을 때 참입니다.
      • handempty: 손이 비어 있을 때 참입니다.
    • 행동:
      • pickup(b): 블록 b를 테이블에서 들어올리는 행동입니다.
      • unstack(b, under): 블록 b를 다른 블록 under에서 들어올리는 행동입니다.
      • putdown(b): 들고 있는 블록 b를 테이블에 놓는 행동입니다.
      • stack(b, under): 들고 있는 블록 b를 다른 블록 under 위에 놓는 행동입니다.
  2. 문제 설명 (Problem Description):
    • 문제 제목: 블록 정렬 문제
    • 객체: 블록 1, 블록 2, 블록 3, 블록 4, 블록 5
    • 초기 상태:
      • clear(1), clear(2), clear(3), ontable(1), ontable(2), ontable(3)
      • on(3, 2): 블록 3이 블록 2 위에 있습니다.
    • 목표 조건:
      • on(1, 2): 블록 1이 블록 2 위에 있어야 합니다.
      • ontable(3): 블록 3은 테이블 위에 있어야 합니다.
  3. 출력 (Output):
    • LLM은 위의 도메인 설명과 문제 설명을 바탕으로 PDDL 형식의 도메인 파일과 문제 파일을 생성합니다. 예를 들어, 다음과 같은 PDDL 코드가 생성될 수 있습니다.
(define (domain blocksworld)
  (:requirements :strips)
  (:predicates
    (clear ?b - block)
    (on ?b - block ?under - block)
    (ontable ?b - block)
    (holding ?b - block)
    (handempty)
  )
  (:action pickup
    :parameters (?b - block)
    :precondition (and (clear ?b) (ontable ?b) (handempty))
    :effect (and (holding ?b) (not (clear ?b)) (not (handempty)) (not (ontable ?b)))
  )
  ...
)

This paper proposes a unified methodology for planning language generation using LLMs (Large Language Models). The main goal of the research is to utilize LLMs to convert problems described in natural language into PDDL (Planning Domain Definition Language) format, which can then be used to derive plans. In this process, the LLM does not directly generate the plan but instead creates a formal representation of the planning language that is input into a symbolic solver to deterministically find a plan.

Example: Block Stacking Problem

  1. Domain Description:
    • Overview: A domain for performing tasks of stacking blocks.
    • Entity Types:
      • Block: Represents individual blocks that can be manipulated.
    • Predicates:
      • clear(b): True when block b has no blocks on top and is not being held.
      • on(b, under): True when block b is on top of block under.
      • ontable(b): True when block b is on the table.
      • holding(b): True when block b is being held.
      • handempty: True when the hand is empty.
    • Actions:
      • pickup(b): Action to lift block b from the table.
      • unstack(b, under): Action to remove block b from on top of another block under.
      • putdown(b): Action to place block b on the table.
      • stack(b, under): Action to place block b on top of another block under.
  2. Problem Description:
    • Problem Title: Block Arrangement Problem
    • Objects: Block 1, Block 2, Block 3, Block 4, Block 5
    • Initial State:
      • clear(1), clear(2), clear(3), ontable(1), ontable(2), ontable(3)
      • on(3, 2): Block 3 is on top of Block 2.
    • Goal Conditions:
      • on(1, 2): Block 1 must be on top of Block 2.
      • ontable(3): Block 3 must be on the table.
  3. Output:
    • The LLM generates domain and problem files in PDDL format based on the above domain and problem descriptions. For example, the following PDDL code might be generated.
(define (domain blocksworld)
  (:requirements :strips)
  (:predicates
    (clear ?b - block)
    (on ?b - block ?under - block)
    (ontable ?b - block)
    (holding ?b - block)
    (handempty)
  )
  (:action pickup
    :parameters (?b - block)
    :precondition (and (clear ?b) (ontable ?b) (handempty))
    :effect (and (holding ?b) (not (clear ?b)) (not (handempty)) (not (ontable ?b)))
  )
  ...
)


요약

이 논문에서는 LLM을 활용한 계획 언어 생성의 통합 프레임워크를 제안하며, 다양한 중간 표현(IR)을 통해 기존의 산발적인 방법들을 체계적으로 평가하고 개선하는 방법을 모색합니다. 실험 결과, IR과 수정 피드백을 활용한 다단계 파이프라인이 LLM-as-formalizer 방법론에서 성능을 향상시키며, 문제 복잡성이 증가할수록 LLM-as-planner보다 더 강력한 성능을 보임을 확인했습니다. 이 연구는 LLM 기반 계획 언어 생성의 발전을 가속화할 수 있는 기초 작업으로 자리매김합니다.

This paper proposes a unified framework for planning language generation using LLMs, systematically evaluating and improving existing scattered methods through various intermediate representations (IRs). Experimental results show that multi-stage pipelines utilizing IRs and revision feedback enhance performance in the LLM-as-formalizer methodology, demonstrating stronger performance compared to LLM-as-planner as problem complexity increases. This work serves as a foundational effort to accelerate advancements in LLM-based planning language generation.


기타

  1. 다이어그램:
    • 다이어그램은 LLM을 플래너로 사용하는 방법과 LLM을 포멀라이저로 사용하는 방법의 차이를 시각적으로 보여줍니다. LLM-as-planner는 직접적으로 계획을 생성하는 반면, LLM-as-formalizer는 PDDL과 같은 형식적 표현을 생성하여 이를 솔버에 입력하여 계획을 찾습니다. 이 구조는 LLM-as-formalizer가 더 나은 성능과 형식적 보장을 제공할 수 있음을 강조합니다.
  2. 피규어:
    • 피규어는 다양한 실험 결과를 시각적으로 나타내며, 각 LLM의 성능을 비교합니다. 예를 들어, LLM-as-formalizer가 LLM-as-planner보다 복잡한 문제에서 더 나은 성능을 보이는 것을 보여줍니다. 특히, 문제의 복잡성이 증가할수록 LLM-as-formalizer의 성능이 더 안정적이라는 점이 강조됩니다.
  3. 테이블:
    • 테이블은 다양한 파이프라인의 성능을 정리하여 각 파이프라인이 사용하는 중간 표현(IR)의 종류와 그에 따른 성능을 비교합니다. 예를 들어, PyPDDL을 사용하는 파이프라인이 PDDL을 직접 생성하는 것보다 더 나은 성능을 보이는 경우가 많습니다. 이는 고자원 언어가 저자원 언어를 생성하는 데 효과적일 수 있음을 시사합니다.
  4. 어펜딕스:
    • 어펜딕스는 실험에 사용된 데이터셋, 파이프라인의 세부 사항, 그리고 각 LLM의 성능 결과를 포함하고 있습니다. 이 정보는 연구의 재현성을 높이고, 다른 연구자들이 유사한 실험을 수행할 수 있도록 돕습니다. 또한, 다양한 IR의 예시와 그 성능을 비교하는 데 유용한 자료를 제공합니다.

Insights from Diagrams, Figures, Tables, and Appendices

  1. Diagrams:
    • The diagrams visually illustrate the differences between using LLM as a planner and as a formalizer. The LLM-as-planner directly generates plans, while the LLM-as-formalizer generates formal representations like PDDL, which are then input into a solver to find plans. This structure emphasizes that LLM-as-formalizer can provide better performance and formal guarantees.
  2. Figures:
    • The figures present experimental results visually, comparing the performance of different LLMs. For instance, it shows that LLM-as-formalizer outperforms LLM-as-planner, especially in complex problems. The stability of LLM-as-formalizer’s performance as problem complexity increases is particularly highlighted.
  3. Tables:
    • The tables summarize the performance of various pipelines, detailing the types of intermediate representations (IRs) used and their corresponding performance. For example, pipelines using PyPDDL often outperform those that generate PDDL directly. This suggests that high-resource languages can be effective in generating low-resource languages.
  4. Appendices:
    • The appendices include details about the datasets used in experiments, specifics of the pipelines, and performance results for each LLM. This information enhances the reproducibility of the research and aids other researchers in conducting similar experiments. Additionally, it provides useful material for comparing the performance of different IRs and their examples.


refer format:

다음은 요청하신 논문의 BibTeX 형식과 시카고 스타일의 인용입니다.

BibTeX 형식

@inproceedings{Kagitha2026,
  author    = {Prabhu Prakash Kagitha and Bo Sun and Ishan Desai and Andrew Zhu and Cassie Huang and Manling Li and Ziyang Li and Li Zhang},
  title     = {Unifying Inference-Time Planning Language Generation},
  booktitle = {Findings of the Association for Computational Linguistics: ACL 2026},
  pages     = {8531--8574},
  year      = {2026},
  month     = {July},
  publisher = {Association for Computational Linguistics},
}

시카고 스타일

Kagitha, Prabhu Prakash, Bo Sun, Ishan Desai, Andrew Zhu, Cassie Huang, Manling Li, Ziyang Li, and Li Zhang. 2026. “Unifying Inference-Time Planning Language Generation.” In Findings of the Association for Computational Linguistics: ACL 2026, 8531–8574. Association for Computational Linguistics.