프롬프트 엔지니어링

* LLM을 잘 활용한다는 것은 프롬프트를 잘 작성한다는 것이다.

 

LLM 동작 원리를 이해하면 프롬프트를 작성하기 수월하다.

LLM을 비롯한 딥러닝 모델들은 사실 엄청나게 빠르고 정확한 계산기

무엇을 계산하는가?

확률을 계산한다.

사용자의 인풋(프롬프트)이 들어왔을 때, 학습된 데이터를 기반으로 판단해보니

가장 높은 확률로 이런 아웃풋을 원할 것이다.

 

답변을 어떻게 잘 받을까?

질문의 퀄리티가 좋아야 한다.

 

프롬프트의 목적

LLM이 확률을 더 빠르고 정확하게 계산할 수 있도록 하는 것

 

출처: 인프런, 강병진 - LangGraph를 활용한 AI Agent 개발

 

 

* 프롬프트 엔지니어링 가이드

https://www.promptingguide.ai/kr

프롬프트 엔지니어링 가이드 – Nextra

 

 

* 프롬프트 기획 / 설계

 

• Prompt Life-Cycle
• Persona
• Tone

• Chain of Thought

 

논문

'Chain-of-Thought Prompting Elicits Reasoning in Large Language Models'

(논문 링크: https://arxiv.org/pdf/2201.11903)

대규모 언어 모델(LLM)의 복잡한 추론 능력을 향상시키기 위한 프롬프트 기법

중간 추론 단계를 자연어로 명시적으로 생성하도록 유도한다.

 

ex.

• 기존 프롬프트:

Q: 로저는 테니스공 5개를 가지고 있습니다. 그는 3개들이 캔 2개를 더 샀습니다. 총 몇 개의 테니스공이 있나요?
A: 11

• Chain-of-Thought 프롬프트:

Q: 로저는 테니스공 5개를 가지고 있습니다. 그는 3개들이 캔 2개를 더 샀습니다. 총 몇 개의 테니스공이 있나요?
A: 로저는 처음에 5개의 테니스공을 가지고 있었습니다. 3개들이 캔 2개는 6개의 테니스공입니다. 5 + 6 = 11. 따라서 정답은 11입니다.

 

 

이러한 방식으로 모델은 문제를 단계별로 분석하여 더 정확한 답변을 생성할 수 있다.

모델이 자동으로 추론 과정을 따라하면서, 중간 단계를 거치며 더 정확한 결과를 만든다.

 

질문은 동일

 

항목	기준	Chain-of-Thought Prompting
질문	동일함	동일함
예시 응답 (Few-shot)	정답만 제시 (A: 11)	추론 과정을 포함 (A: 그는... 따라서 11)
모델의 유도 방식	정답만 예측	추론+정답을 함께 출력

 

 

• Zero /Few Shot

 

✅ 1. Few-shot CoT prompting (가장 일반적인 형태)

• 정의: 모델에게 몇 개의 **“생각의 흐름을 포함한 예시”**를 보여주고, 새로운 문제에 대한 동일한 형식을 유도.
• 효과: LLM이 중간 추론 단계를 모방(imitate) 해서 더 정교하게 사고함.
• 논문: 이 방식이 Chain-of-Thought Prompting Elicits Reasoning in LLMs의 기본 실험 설정

---

✅ 2. Zero-shot CoT prompting (가능함)

• 정의: 예시 없이, 단지 프롬프트 안에 “Let’s think step by step” 같은 문구만 넣는 방식.
• 예시:
• Q: Jenny has 3 red balls and 4 blue balls...
  A: Let's think step by step. First, she...
• 효과: 규모가 큰 모델(GPT-3.5, GPT-4 등)은 이 문구 하나만으로도 중간 추론을 수행하기 시작함.
• 논문: Kojima et al. (2022) – “Large Language Models are Zero-Shot Reasoners”에서 이 기법을 실증함.

 

✅ 3. Fine-tuned CoT (모델 훈련으로 학습)

• 정의: 모델을 CoT 방식으로 훈련(fine-tune) 시켜서 아예 추론 흐름을 내재화시키는 방식.
• 예시: 최근의 Gemini, Claude, GPT-4 등은 CoT 훈련이 어느 정도 포함된 것으로 추정됩니다.

 

* 프롬프트 제작 / 최적화

 

• Role Prompt
• Sentiment Routing
• Context Injection
• Tree of Thoughts
• Program-Aided LM
• Automatic Prompt Engineer
• ReAct
• Meta Prompt
• Multi-Chain Design
• Output Length Control

 

* 프롬프트 평가 / 관리

 

• A/B Test
• Langfuse Dashboard,
• LLM-as-Judge
• Moderation
• Injection Defense
• Cost & Latency Monitor
• Prompt Metrics
• Deployment Plan