RLHF 편집하기 (부분)

=평가=
생산/프로젝트 작업 형식 이해
온보딩 과정에서 귀하는 당사의 시스템과 프로세스를 소개하기 위해 고안된 특정 작업 형식에 익숙해졌습니다. 이러한 작업에는 일반적으로 다음이 포함됩니다. (앞선 교육 내용)

* 모델 테스트를 위한 프롬프트 작성: 모델이 예상대로 작동하지 않을 수 있는 시나리오를 만드는 것을 목표로 모델이 어떻게 반응하는지 관찰하기 위해 특정 요구 사항에 맞는 프롬프트를 작성하는 것부터 시작합니다.
* 응답 평가 및 문제 식별: 두 모델 응답을 평가하고 부족한 문제나 영역을 지적합니다. 이 단계는 중요한 평가 기술을 연습하는 데 도움이 됩니다.
* 병렬 순위: 원본 응답과 개선된 응답을 나란히 비교하여 순위를 매기고, 한 응답이 더 나은 이유에 대한 정당성을 제공합니다. 이를 통해 품질 표준에 대한 분석적 사고와 이해를 장려합니다.
* 개선을 위한 재작성: 더 강력한 모델 응답을 취하고 이를 더욱 향상시킵니다. 이 연습은 건설적인 피드백 및 최적화 기술을 구축합니다.

==작업과 평가 주요 차이점==
생산/프로젝트 작업과 평가 작업의 주요 차이점

평가 작업은 다음과 같이 다르게 보입니다.

* 프롬프트와 응답은 미리 채워집니다.
* 채점할 차원(지침 따르기, 진실성, 작문 품질)이 더 적습니다.
* 항상 응답 중 하나를 다시 작성해야 합니다.

자세한 내용은 [https://docs.google.com/document/d/e/2PACX-1vTQvF1YZqGaQs5Wk-jFl2DyVqjTDK2NQLC4D7Px8IIoQPyRhcUe93eOcwEebuq1wbl0LZ_hbWLqEAJ5/pub 평가 작업 지침]을 참조하세요.

평가 작업 연습

==1단계: 미리 채워진 프롬프트 및 응답 평가==

평가 작업에는 미리 채워진 프롬프트와 응답이 포함되어 있으며 이를 주의 깊게 검토하여 작업 요구 사항과 어떤 관련이 있는지 이해하세요.

* 주요 활동
미리 채워진 프롬프트를 읽고 작업 지침과 일치하는지 확인하세요.

진실성, 지침 준수 및 작문 품질에 대해 미리 작성된 응답을 검토합니다.


==2단계: 작업 차원 평가 및 평가==

지침 준수, 진실성, 작문 품질 등 특정 차원을 기준으로 제공된 응답을 평가하세요.


* 주요 활동
1-3 척도를 사용하여 각 차원을 객관적으로 평가합니다.

응답이 작업 프롬프트에서 설정한 기대치를 충족하는지 여부에 중점을 둡니다.


==3단계: 평가에 대한 근거 제공==
이 단계에서는 각 등급을 부여한 이유를 설명합니다. 이는 사고 과정을 명확하게 하고 검토자가 평가를 이해했는지 확인할 수 있는 기회입니다.

* 주요 활동
각 등급의 이유를 설명하세요.

귀하의 결정에 영향을 미친 문제나 긍정적인 측면을 지적하십시오.

==4단계: 선호도 순위 완료==
이제 특정 특성에 따라 2가지 응답의 순위를 매겨야 합니다: 지침 준수, 작문 품질 및 진실성 선호도 순위 점수를 사용하고 다음 지침을 따르십시오. 응답 간의 차이가 주로 주관적이거나 의견에 따라 달라지는 경우 다음 중 하나를 선택하십시오. 중간 세 가지 선호도 점수는 보다 중립적인 입장을 반영합니다.

* 주요 활동

지정된 특성을 기반으로 응답을 비교합니다.

차이가 주관적이거나 사소한 경우 중간 점수를 기준으로 선호도 점수를 선택합니다.

==5단계: 선호도 순위에 대한 리커트 근거 제공==
이 필드에는 귀하의 사고 과정과 선택한 답변이 다른 답변보다 낫다고 생각하는 이유를 명확하게 설명하고 추론을 구체적으로 작성하세요.


* 주요 활동
순위를 뒷받침할 수 있도록 각 응답의 구체적인 예를 제공하세요.

설명의 명확성과 일관성을 보장하면서 정당성을 '''영어'''로 작성하십시오.

==6단계: 작업 응답 재작성==

이 단계에서는 기존 응답을 개선하기 위해 응답을 다시 작성해야 합니다.

* 주요 활동
프롬프트 요구 사항을 충족하지 못한 영역에 초점을 맞춰 대응을 필요한 대로 조정합니다.

재작성이 작업의 목표 및 기대치와 밀접하게 일치하는지 확인하세요.