기능 검증(functional verification)에서 대형 언어 모델(LLM) 적용의 패러다임

이 백서에서는 기능 검증(functional verificaction)의 여러 측면에 LLM(대형 언어 모델) 적용과 관련된 문헌을 포괄적으로 검토할 수 있습니다. LLM은 앞으로가 기대되는 신기술이지만, LLM의 본질적인 한계, 특히 잘못된 예측으로 이어질 수 있는 허상(Hallucination)을 인식하는 것이 중요합니다. LLM 출력 품질을 보장하기 위해 네 가지 보호 패러다임을 권장합니다. 마지막으로 이 백서는 LLM개발에서 관찰된 동향을 요약하고, 검증에서 더 광범위한 응용에 대한 낙관적인 전망을 표현합니다.

기능 검증(functional verification)에서 대형 언어 모델(LLM) 적용의 패러다임

실제로 언어 모델은 기능 검증에 사용되는 가장 필수적인 유형의 머신 러닝(ML) 모델입니다. 이 프로세스에는 사양, 소스 코드, 테스트 계획, 테스트 벤치, 로그 및 보고서를 포함한 다양한 형태의 텍스트 데이터를 처리하는 작업이 포함되어 있습니다. 대부분의 텍스트 콘텐츠는 자연 언어, 제한된 자연 언어 또는 프로그래밍 언어로 구성됩니다. 따라서 기능 검증에 AI/ML을 적용하려면 언어 모델을 효과적으로 사용하는 것이 중요합니다.

LLM은 앞으로가 기대되는 신기술이지만, LLM의 본질적인 한계를 인식하는 것이 중요합니다. 특히
검증 시 LLM의 출력을 그대로 사용하지 않도록 주의해야 합니다.

LLM의 한계를 극복하고 그 가능성을 실현하기 위해, 본 백서의 저자들은 LLM 출력의 품질을 보장하기 위해 4 가지 보호 패러다임을 추천합니다.

1. 품질 게이트/가드레일
2. 자체 점검 피드백 루프
3. 외부 에이전트
4. 생각의 사슬