세무 변호사로서의 대규모 언어 모델: 이 AI 문서에서는 세법 적용에 있어 LLM 기능을 탐구합니다.

Feb 05, 2024

AI의 발전이 이루어지고 있습니다. LLM(대형 언어 모델)은 빠른 발전이 일어나는 곳입니다. 최신 LLM은 도구를 사용하고, 계획하고, 표준화된 평가를 통과할 수 있습니다. 그러나 LLM을 만든 사람에게도 LLM은 그저 신비한 상자일 뿐입니다. 그들은 내부적으로 어떻게 생각하는지 잘 모르고 LLM이 새로운 상황에서 어떻게 행동할지 예측할 수 없습니다. 연구 환경 외부에서 모델을 사용하기 전에 다양한 벤치마크 목록을 통해 LLM 성과를 평가하는 것이 가장 좋습니다. 그러나 이러한 벤치마크는 우리에게 중요하거나 교육 중에 LLM이 기억했을 수 있는 실제 활동을 반영해야 하는 경우가 많습니다. 성과 평가에 필요한 데이터는 일반적으로 인터넷에서 자주 다운로드되는 LLM 교육에 사용되는 데이터 세트에 포함됩니다.

중복은 모델의 성능을 과대평가하여 단순한 인식일 수도 있지만 이해한다는 인상을 줄 수 있습니다. 그들은 특히 세 가지 이유로 LLM의 법적 분석 능력에 대한 평가 노력을 집중합니다. 첫째, LLM이 법률을 얼마나 잘 이해하고 있는지 확인하면 LLM 및 자동화 시스템에 대한 보다 일반적인 규제에 도움이 될 수 있습니다. 정책 관련 전략 중 하나는 민주적 절차와 입법을 통해 확립된 사회적 이상에 부합하는 "법률 기반 AI"에 대한 LLM의 법적 및 규제적 추론을 활용하는 것입니다. 이 "Law Informs Code" 전략은 반복적인 심의 및 소송을 통해 수탁 의무와 같은 유연한 법적 규범을 생성하는 민주적 프로세스의 입증된 능력을 기반으로 합니다. AI 시스템에 법의 정신을 가르치는 것이 익숙하지 않은 상황에서 방어 가능한 결정을 내리는 데 도움이 될 수 있다는 아이디어입니다. LLM 기반 시스템이 인간 원칙을 지원할 때 수탁 책임이 위반되는 시기를 조기에 감지하는 기능을 통해 AI 배포를 더욱 안전하게 할 수 있습니다. 둘째, 셀프 서비스를 통해서든 자격을 갖춘 변호사를 통해서든 LLM은 사람들이 법률 서비스를 보다 빠르고 효과적으로 제공하기 위한 도구로 활용될 수 있습니다. 모델이 법을 더 잘 이해하면 더 신뢰할 수 있고 가치가 높아질 수 있습니다. LLM은 사례 예측에서 계약 분석에 이르기까지 다양한 활동을 도와줌으로써 법률 지원에 대한 접근을 민주화하고 법률 시스템을 이해하기 어려울 수 있는 개인의 비용과 복잡성을 낮출 수 있습니다.

법률 업무의 섬세한 성격을 고려하여 이러한 모델이 구현될 때 특정 보호 조치가 구현되어야 합니다. 여기에는 데이터 개인정보 보호 개선, 편견 감소, 모델 선택에 대한 책임 유지, 특정 사용 사례에 대한 LLM 적용 가능성 평가 등이 수반됩니다. 따라서 체계적인 평가가 필요하다. 셋째, LLM이 충분한 법적 지식을 갖고 있다면 정부, 국민, 학자들이 법적 모순을 발견하는 데 사용할 수 있습니다. LLM은 정부의 전반적인 효율성과 개방성을 향상시킬 수 있습니다. 예를 들어, LLM은 복잡한 규칙과 규정을 명확하고 이해하기 쉬운 방식으로 설명할 수 있는 경우가 많습니다.

미래에 LLM은 새로운 법률이나 정책의 예상 효과를 예측할 수 있습니다. LLM은 다른 유사한 경우에 입법부나 규제 기관이 막대한 양의 법적 언어와 그에 따른 구현을 검토하여 지침을 제공할 때 법이 침묵하는 "오래된" 법률이나 상황을 식별할 수 있습니다. 이 연구에서 스탠포드 대학교, 미시간 대학교, 워싱턴 대학교, 서던 캘리포니아 대학교, 노스웨스턴 프리츠커 로스쿨 및 SimPPL의 연구원들은 미국 법전(연방 법률 모음)의 텍스트를 사용하여 검색 증강 LLM 생성을 조사합니다. ) 및 미국 연방 규정집(CFR)을 참조하세요. 그들은 LLM 그룹의 세법에 대한 이해도를 평가합니다. 그들은 네 가지 요소에 대해 세법을 결정했습니다.

세법의 법적 권한은 대부분 두 가지 출처, 즉 CFR에 따른 재무부 규정과 미국 법전 26조(일반적으로 내국세입법으로 알려짐)에 포함되어 있습니다. 이는 여러 판례에서 교리가 추출되는 여러 법적 영역과 대조됩니다. 이를 통해 사전 정의된 관련 문서의 세계를 사용하여 LLM 검색을 보완할 수 있습니다. 둘째, 많은 세법에서는 질문에 대한 결정적인 답변을 허용합니다. 이를 통해 일관된 자동 검증 워크플로를 구축할 수 있습니다. 셋째, 특정 사건에 대한 세법 문제를 해결하려면 일반적으로 관련 법적 권한을 읽는 것 이상이 필요합니다. 따라서 실제 실무에 적용되는 방식으로 LLM 역량을 평가할 수 있습니다.