RLHF 편집하기 (부분)

==지침을 따르는지 여부==

내용 추출 (Content Extraction)


지시사항 준수: 모델이 프롬프트 지시사항을 정확히 따랐는지 확인
진실성: 모델이 프롬프트 지시사항을 정확히 따랐는지 확인 (진실성과 중복됨)


요약 (Summarization)


지시사항 준수:

모델이 요약을 시도했는지
제약조건(예: 500단어 이하)을 만족했는지


진실성:

원문의 의미와 주요 세부사항이 유지되었는지
참조 텍스트의 정보는 사실로 간주
모순이 없는지 확인




재작성 (Rewrite)


지시사항 준수:

재작성 시도 여부
제약조건 충족 여부
외부 사실 활용이 도움이 되었는지


진실성:

원문의 의미와 핵심 내용 유지
참조 텍스트의 정보는 사실로 간주
외부 참조 사실의 정확성 검증
모순 없는지 확인




폐쇄형 QA (Closed QA)


지시사항 준수:

답변 시도 여부
형식 제약조건 준수 여부


진실성: 답변의 정확성과 모순 없는지 확인


분류 (Classification)


지시사항 준수:

분류 시도 여부
형식 제약조건 준수 여부


진실성: 분류의 정확성과 모순 없는지 확인


브레인스토밍 (Brainstorming)


지시사항 준수:

사용자 요청과 관련된 아이디어 제시 시도
제약조건 준수 여부


진실성: 답변의 정확성과 모순 없는지 확인


Open QA(개방형 질문-답변) 평가를 위한 기준을 설명하고 있습니다. 두 가지 주요 평가 기준을 제시합니다:

Execution Attempt (실행 시도):


모델이 참조 텍스트를 기반으로 질문에 답변을 시도했는지를 평가
중요한 점은 답변이 반드시 정확할 필요는 없다는 것입니다


Constraint Correctness (제약 조건 준수):


형식 관련 제약 조건들이 있는지 확인
모델이 이러한 제약 조건들을 성공적으로 따랐는지 평가

마지막으로 Open QA에 대한 검증 지침이 제공됩니다:

모델이 올바르게 답변했는지 확인
모든 세부사항이 정확한지 검토
답변 내용에 모순이 없는지 확인


* 참고사항

direction X, trouth ???