한줄 요약: 

이 논문은 GPT-3을 활용하여 사람이 직접 개입할 수 있는 스키마 유도 시스템을 제안하여 사건 이해의 품질을 높이고 새로운 도메인으로 쉽게 확장할 수 있도록 돕는 일종의 프로그램 소개  

짧은 요약(Abstract) :    

이 논문의 서론은 사건 중심의 자연어 이해(NLU)가 다양한 자연어 처리 작업에서 중요한 역할을 하고 있음을 강조합니다. 사건 스키마는 사건들이 어떻게 연결되고 전개되는지 설명하는 추상적인 구조로, 기존의 선형 방식에서 그래프 형태로 발전해왔습니다. 기존의 자동화된 스키마 유도 시스템은 사람의 개입이 적어 품질에 한계가 있었으나, 이 논문에서는 GPT-3를 활용한 사람이 직접 개입하는 스키마 유도 시스템을 제안합니다. 이를 통해 더 높은 품질의 스키마를 생성하고, 새로운 도메인에 쉽게 적용할 수 있는 장점을 제공합니다.

The introduction of this paper emphasizes the importance of event-centric natural language understanding (NLU) in various NLP tasks. Event schemas are abstract structures that explain how events are connected and unfold, evolving from linear forms to graph representations. Existing automated schema induction systems have limitations due to minimal human involvement, but this paper proposes a human-in-the-loop schema induction system powered by GPT-3. This system allows for higher-quality schema generation and easier adaptation to new domains.


* Useful sentences :


Paper link
Lecture link


단어정리


Methodology

  1. GPT-3을 사용한 스키마 요소 자동 생성: GPT-3을 통해 사건의 하위 단계나 요소를 자동으로 생성합니다.
  2. 사람이 개입하는 스키마 편집: 생성된 스키마 요소를 사람이 직접 수정 및 편집할 수 있도록 상호작용 인터페이스를 제공합니다.
  3. 단계적 스키마 구축: 사건 간의 시간적, 계층적 관계를 자동으로 생성하고, 이를 사람이 확인하고 보완함으로써 스키마의 품질을 높입니다.
  1. Automatic Schema Element Generation with GPT-3: GPT-3 is used to automatically generate sub-events or elements of an event schema.
  2. Human-in-the-Loop Schema Editing: An interactive interface allows humans to directly edit and refine the schema elements generated by GPT-3.
  3. Stepwise Schema Construction: Temporal and hierarchical relationships between events are automatically generated, and humans review and enhance them to ensure higher-quality schemas.


Results

이 논문의 결과에서는 사람이 개입한 스키마 유도 시스템이 기존의 자동화된 방식보다 더 나은 성과를 보여주었습니다. 특히, GPT-3 모델을 사용해 스키마 요소를 자동으로 생성한 후, 사람이 이를 편집하는 과정을 거쳐 스키마의 품질이 크게 향상되었습니다.

구체적인 결과로는:

  1. 정확도 증가: 사람이 선택하거나 수정한 스키마 단계와 노드가 기계가 자동으로 생성한 것보다 더 정확했습니다. 다양한 시나리오에서 생성된 스키마의 정확도가 높았고, 특히 사건 간의 시간적 및 계층적 관계를 더 잘 반영할 수 있었습니다.
  2. 편집 거리 감소: 사용자가 스키마를 수정하는 과정에서 자동 생성된 요소들이 적은 수정만으로 높은 품질의 스키마를 완성할 수 있었습니다.
  3. 성능 평가: 모델이 생성한 스키마는 다양한 시나리오에 적용되었으며, 평가자들은 스키마 생성 속도와 편집의 용이성, 정확성 등을 높게 평가했습니다. 영상 생성 관련해서는 GPT-3을 통한 이벤트 시나리오 구성과 이를 사람이 조정하는 상호작용이 잘 결합되어 더 높은 성능을 발휘했습니다.

이 결과는 사람이 기계가 생성한 스키마를 적절하게 보완함으로써 자동화 시스템이 놓치는 부분을 보완하고, 더욱 정확한 스키마를 생성할 수 있음을 보여줍니다.

In terms of results, the human-in-the-loop schema induction system outperformed fully automated methods, particularly when combined with GPT-3-generated schema elements.

Key findings include:

  1. Increased accuracy: Human-selected or edited schema steps and nodes were more accurate than those automatically generated by the system. The schemas better reflected temporal and hierarchical relationships across various scenarios.
  2. Reduced editing distance: The automatically generated elements required fewer modifications to reach a high-quality schema, making the process more efficient for users.
  3. Performance evaluation: The system‘s schema generation was evaluated across different scenarios, with evaluators praising the speed, ease of editing, and accuracy. Regarding video models, the combination of GPT-3-driven event scenario generation and human adjustment in the interactive interface resulted in superior performance.

These results demonstrate that human intervention can effectively complement machine-generated schemas, improving their precision and quality.


예시

이 논문에서 구체적으로 제시된 예시 중 하나는 ”사이버 공격(Cyber Attack)“ 시나리오의 스키마입니다. 이 스키마는 사건들이 시간적 및 계층적 관계를 통해 어떻게 전개되는지를 나타내며, 자동으로 생성된 요소들이 사람이 개입하여 편집된 후, 더 정교한 결과를 도출했습니다.

예시: 사이버 공격(Cyber Attack) 스키마

  1. 자동 생성 단계:
    • ”시스템에 접근“
    • ”사용자 계정 정보 나열“
    • ”권한 상승“
    • ”데이터 탈취“

    이 단계들은 GPT-3을 통해 자동으로 생성된 하위 사건들이며, 기본적으로 사건 간의 시간적 순서에 따라 나열되었습니다.

  2. 사람이 개입하여 수정된 부분:
    • 노드 수정: 예를 들어, ”시스템에 접근“ 단계가 너무 추상적일 수 있어 사람이 이를 더 구체적으로 ”공격자가 시스템에 접근“으로 수정.
    • 관계 보완: 사건 간의 순서나 관계에서 자동 생성된 노드들 간의 계층적 관계가 더 정교하게 설정되었습니다. 예를 들어, ”데이터 탈취“는 ”시스템 접근“이 먼저 이루어진 후에야 발생할 수 있으므로, 사람이 이를 확인하고 순서를 보완했습니다.
    • 추가적인 사건 포함: 예를 들어, ”로그 조작“과 같은 중요한 하위 사건이 누락되었을 때, 사람이 이를 추가하여 더 완전한 스키마를 만들었습니다.

더 나은 점:

  • 시간적 관계의 정확성: 사람이 개입함으로써 사건 간의 시간적 순서가 더 명확하게 설정되었습니다. 예를 들어, ”시스템에 접근“이 ”권한 상승“보다 먼저 일어나야 하는데, 이는 사람이 수동으로 확인하여 더 정확한 순서를 만들 수 있었습니다.
  • 추가 세부 정보 반영: 자동화된 스키마 생성에서는 누락될 수 있는 세부 사항(예: ”로그 조작“ 등)을 사람이 추가할 수 있어 더 풍부한 스키마를 만들었습니다.
  • 계층적 관계 강화: 예를 들어, ”공격자 계정 정보 나열“과 ”권한 상승“ 간의 계층적 관계를 사람이 확인하고 강화함으로써, 사건 간의 상관성을 더 명확하게 표현할 수 있었습니다.

결국, 자동 생성된 스키마는 기초적인 사건 흐름을 제공하지만, 사람이 개입하여 더 정확하고 세부적인 스키마로 발전시킬 수 있었습니다.

Example: Cyber Attack Schema

  1. Automatically generated steps:
    • ”Gain access to the system“
    • ”List user account information“
    • ”Escalate privileges“
    • ”Exfiltrate data“

    These sub-events were automatically generated by GPT-3, arranged in a basic temporal sequence of the cyber attack.

  2. Human edits and improvements:
    • Node revision: For example, the step ”Gain access to the system“ was revised by a human to be more specific, such as ”The attacker gains access to the system.“
    • Relation adjustments: The hierarchical and temporal relationships between the events were made clearer. For instance, the event ”Exfiltrate data“ could only happen after ”Gain access,“ which was corrected by human input.
    • Adding missing events: Important sub-events like ”Modify system logs“ were added by the human curator, ensuring a more complete schema.

Improvements:

  • Temporal accuracy: With human involvement, the temporal order of events became more precise. For example, ”Gain access to the system“ must precede ”Escalate privileges,“ and this was confirmed and refined by the human.
  • Additional details: Humans could add finer details that might be missed in the automated process, such as including the step ”Modify system logs“ to reflect a more comprehensive attack sequence.
  • Hierarchical relations: Human curators strengthened the hierarchical relationship between sub-events, such as verifying that ”List user account information“ logically comes before ”Escalate privileges.“

Thus, while the automatically generated schema provided a basic outline, human intervention significantly improved the accuracy, completeness, and detail of the schema.


요약

이 논문은 사이버 공격 같은 사건 시나리오에 대한 스키마 유도 시스템을 제안합니다. GPT-3을 활용해 사건의 기본적인 단계들을 자동 생성하고, 사람이 이를 수정하여 더 정확한 스키마를 완성할 수 있도록 합니다. 예를 들어, ”시스템에 접근“ 같은 자동 생성된 단계는 사람이 구체화하고, 추가적인 사건인 ”로그 조작“을 포함하여 스키마의 세부 사항을 보완합니다. 결과적으로, 자동화된 스키마보다 사람이 개입하여 수정한 스키마가 더 높은 정확도와 세부 정보를 반영했습니다. 이 시스템은 사건의 시간적 및 계층적 관계를 강화하며, 더 완성도 높은 스키마를 제공합니다.

This paper proposes a schema induction system for event scenarios such as cyber attacks. It uses GPT-3 to automatically generate basic event steps, and humans edit these to create more accurate schemas. For example, the automatically generated step ”Gain access to the system“ is refined by humans, and additional events like ”Modify system logs“ are included. As a result, schemas edited by humans showed greater accuracy and detail compared to fully automated schemas. The system enhances the temporal and hierarchical relationships of events, producing more complete schemas.

기타


refer format:

@inproceedings{zhang2023human, title={Human-in-the-Loop Schema Induction}, author={Tianyi Zhang and Isaac Tham and Zhaoyi Hou and Jiaxuan Ren and Liyang Zhou and Hainiu Xu and Li Zhang and Lara J. Martin and Rotem Dror and Sha Li and Heng Ji and Martha Palmer and Susan Brown and Reece Suchocki and Chris Callison-Burch}, booktitle={Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations)}, pages={1–10}, year={2023}, organization={Association for Computational Linguistics} }

Zhang Tianyi, Isaac Tham, Zhaoyi Hou, Jiaxuan Ren, Liyang Zhou, Hainiu Xu, Li Zhang, Lara J. Martin, Rotem Dror, Sha Li, Heng Ji, Martha Palmer, Susan Brown, Reece Suchocki, and Chris Callison-Burch. “Human-in-the-Loop Schema Induction.” In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations), 1-10. Association for Computational Linguistics, 2023.