LLM 평가 방법: 객관식 문제를 중심으로

LLM 평가 방법: 객관식 문제를 중심으로

서론

인공지능 기술의 발전과 함께 대규모 언어 모델(Large Language Model, LLM)의 성능 평가가 중요한 이슈로 떠오르고 있습니다. 특히 객관식 문제를 통한 LLM 평가 방법은 모델의 능력을 측정하는 데 널리 사용되고 있습니다. 이 글에서는 LLM의 객관식 문제 평가 방법, 특히 로그 라이클리후드(Log-likelihood)와 컴플리션 파싱(Completion Parsing) 방식을 중심으로 살펴보겠습니다.

LLM 평가의 중요성

LLM의 성능 평가는 여러 가지 이유로 중요합니다:

1. 모델 성능 비교: 다양한 모델 간의 객관적인 성능 비교가 가능합니다.
2. 개선 방향 제시: 평가 결과를 통해 모델의 강점과 약점을 파악하고 개선 방향을 설정할 수 있습니다.
3. 사용자 신뢰 확보: 객관적인 평가 결과는 모델 사용자들에게 신뢰를 줄 수 있습니다.
4. 연구 발전 촉진: 표준화된 평가 방법은 AI 연구 커뮤니티의 발전을 촉진합니다.

객관식 문제 평가 방법

LLM의 객관식 문제 평가에는 크게 두 가지 방법이 사용됩니다:

1. 로그 라이클리후드(Log-likelihood) 방식
2. 컴플리션 파싱(Completion Parsing) 방식

1. 로그 라이클리후드 방식

로그 라이클리후드 방식은 모델이 각 선택지에 대해 계산한 확률을 기반으로 평가합니다.

기본 원리

• 모델에 문제와 선택지를 제공합니다.
• 모델은 각 선택지에 대한 확률을 계산합니다.
• 가장 높은 확률을 가진 선택지를 모델의 답으로 간주합니다.

변형: LM Evaluation Harness

LM Evaluation Harness는 로그 라이클리후드 방식을 개선한 평가 도구입니다.

주요 특징:

• 전체 문장의 확률을 고려합니다.
• 각 선택지를 정답으로 가정하고 전체 문장의 확률을 계산합니다.
• 가장 높은 확률을 가진 선택지를 정답으로 선택합니다.

2. 컴플리션 파싱 방식

컴플리션 파싱 방식은 모델이 생성한 텍스트를 분석하여 답을 추출합니다.

기본 원리

• 모델에 문제와 선택지를 제공합니다.
• 모델은 답변을 생성합니다.
• 생성된 텍스트에서 규칙에 따라 답을 추출합니다.

장단점

장점:

• 모델의 실제 출력을 직접 평가할 수 있습니다.
• API만 제공하는 폐쇄형 모델 평가에 적합합니다.

단점:

• 모델의 출력 형식에 따라 결과가 달라질 수 있습니다.
• 파싱 규칙 설정이 중요합니다.

평가 방법 비교

두 평가 방법은 각각의 특징이 있어 결과에 차이가 있을 수 있습니다.

로그 라이클리후드 vs 컴플리션 파싱

1. 정확성
   • 로그 라이클리후드: 모델의 내부 확률 분포를 직접 활용하여 더 정확할 수 있습니다.
   • 컴플리션 파싱: 모델의 실제 출력을 평가하므로 실용적인 성능을 반영할 수 있습니다.
2. 적용 범위
   • 로그 라이클리후드: 주로 오픈 소스 모델에 적용 가능합니다.
   • 컴플리션 파싱: 폐쇄형 모델을 포함한 모든 모델에 적용 가능합니다.
3. 평가 과정
   • 로그 라이클리후드: 모델 내부 확률 계산이 필요합니다.
   • 컴플리션 파싱: 텍스트 생성과 파싱 과정이 필요합니다.

실험 결과 분석

실험 결과, 두 방법 간에 성능 차이가 관찰되었습니다:

1. 모델 크기와 성능 차이
   • 큰 모델일수록 두 방법 간 성능 차이가 작았습니다.
   • 작은 모델에서는 더 큰 성능 차이가 관찰되었습니다.
2. 파싱의 영향
   • 컴플리션 파싱 방식에서는 모델의 출력 형식이 중요한 요소였습니다.
   • 파싱하기 쉬운 형식으로 출력하는 모델이 더 높은 성능을 보였습니다.
3. 가이드된 출력의 효과
   • OpenAI의 'guided choice' 옵션을 사용하면 파싱 문제를 일부 해결할 수 있었습니다.
   • 그러나 여전히 두 방법 간 성능 차이가 존재했습니다.

공정한 평가를 위한 제안

LLM 평가의 공정성을 높이기 위해 다음과 같은 방안을 고려할 수 있습니다:

1. 통일된 평가 방법 사용
   • 오픈 소스 모델과 폐쇄형 모델을 동일한 방식으로 평가합니다.
   • 가능하다면 두 방법을 모두 적용하고 결과를 비교합니다.
2. 평가 방법의 한계 인식
   • 각 평가 방법의 장단점을 이해하고 결과 해석 시 고려합니다.
   • 단일 평가 방법에 의존하지 않고 다각도로 성능을 분석합니다.
3. 모델 특성 고려
   • 모델의 크기, 학습 데이터, 아키텍처 등을 고려하여 결과를 해석합니다.
   • 동일한 조건에서 비교가 가능한 모델들을 그룹화하여 평가합니다.
4. 다양한 태스크 포함
   • 객관식 문제 외에도 다양한 유형의 태스크를 평가에 포함시킵니다.
   • 실제 응용 상황을 반영한 태스크를 개발하고 적용합니다.
5. 지속적인 평가 방법 개선
   • 새로운 평가 방법과 지표를 지속적으로 연구하고 적용합니다.
   • 커뮤니티의 피드백을 반영하여 평가 방법을 개선합니다.

LLM 평가 방법 사용 가이드 (30단계)

1. 평가 목적 정의
   • 모델 간 비교인지, 단일 모델 성능 측정인지 명확히 합니다.
   • 평가 결과의 활용 방안을 구체화합니다.
2. 평가 데이터셋 선택
   • 목적에 맞는 벤치마크 데이터셋을 선택합니다.
   • 필요시 커스텀 데이터셋을 구축합니다.
3. 평가 방법 선택
   • 로그 라이클리후드와 컴플리션 파싱 중 적합한 방법을 선택합니다.
   • 가능하다면 두 방법을 모두 사용하여 비교합니다.
4. 평가 환경 설정
   • 필요한 라이브러리와 도구를 설치합니다.
   • 평가에 사용할 하드웨어 자원을 준비합니다.
5. 모델 준비
   • 평가할 모델들을 다운로드하거나 API 접근 권한을 확보합니다.
   • 모델 로딩 및 초기화 과정을 테스트합니다.
6. 평가 스크립트 작성
   • 선택한 평가 방법에 따른 스크립트를 작성합니다.
   • 로깅 및 결과 저장 기능을 구현합니다.
7. 파일럿 테스트 실행
   • 소규모 데이터로 평가 과정을 테스트합니다.
   • 오류를 확인하고 수정합니다.
8. 전체 평가 실행
   • 준비된 모든 모델에 대해 평가를 실행합니다.
   • 평가 진행 상황을 모니터링합니다.
9. 결과 수집 및 정리
   • 평가 결과를 수집하고 구조화된 형태로 정리합니다.
   • 필요한 통계 처리를 수행합니다.
10. 결과 시각화
    • 그래프, 차트 등을 활용하여 결과를 시각화합니다.
    • 모델 간 비교가 용이한 형태로 시각화합니다.
11. 결과 분석
    • 모델 간 성능 차이의 원인을 분석합니다.
    • 평가 방법에 따른 결과 차이를 확인합니다.
12. 오류 분석
    • 모델이 틀린 문제들을 분류하고 패턴을 찾습니다.
    • 오류의 원인을 추정하고 기록합니다.
13. 보고서 작성
    • 평가 과정, 결과, 분석 내용을 포함한 보고서를 작성합니다.
    • 주요 발견 사항과 인사이트를 강조합니다.
14. 피어 리뷰
    • 동료 연구자나 전문가에게 결과를 검토받습니다.
    • 피드백을 수렴하고 필요시 추가 분석을 수행합니다.
15. 결과 공유
    • 연구 커뮤니티나 이해관계자들과 결과를 공유합니다.
    • 필요시 논문이나 기술 보고서 형태로 발표합니다.
16. 평가 방법 개선
    • 평가 과정에서 발견된 문제점을 기록합니다.
    • 개선 방안을 도출하고 다음 평가에 반영합니다.
17. 새로운 평가 지표 탐색
    • 기존 지표의 한계를 분석합니다.
    • 새로운 평가 지표를 제안하고 테스트합니다.
18. 다국어 평가 확장
    • 다양한 언어로 평가를 확장합니다.
    • 언어별 특성을 고려한 평가 방법을 적용합니다.
19. 도메인 특화 평가
    • 특정 도메인(의료, 법률 등)에 특화된 평가를 수행합니다.
    • 도메인 전문가의 자문을 받아 평가 기준을 설정합니다.
20. 윤리적 고려사항 평가
    • 모델의 편향성, 공정성 등을 평가합니다.
    • 윤리적 가이드라인 준수 여부를 확인합니다.
21. 지속적인 모니터링 체계 구축
    • 정기적인 평가 일정을 수립합니다.
    • 자동화된 평가 파이프라인을 구축합니다.
22. 커뮤니티 참여 유도
    • 오픈 소스 평가 도구를 공개합니다.
    • 커뮤니티의 피드백과 기여를 장려합니다.
23. 평가 결과 데이터베이스 구축
    • 평가 결과를 체계적으로 저장하고 관리합니다.
    • 시간에 따른 모델 성능 변화를 추적합니다.
24. 산업 표준화 노력
    • 평가 방법의 표준화를 위해 관련 기관과 협력합니다.
    • 산업 표준