신속성·정확성·확장성·업무 품질로 살펴보는 생성형 AI 도입 효과
생성형 AI 도입으로 문화예술기관의 자료 검색, 문서 작성, 소장자료 관리, 관객서비스 등 업무 처리방식이 달라지고 있다. 이에 따라 문화예술기관 업무성과 평가에서도 처리시간뿐 아니라 정확성과 결과물의 품질을 함께 확인해야 한다.
AI를 활용하면 자료 검색과 문서 작성 시간을 줄일 수 있다. 그러나 결과물을 검토하고 수정하는 데 추가 시간이 필요할 수 있다. 따라서 업무성과를 평가할 때는 전체 업무시간과 정확성, 결과물의 품질을 종합적으로 비교해야 한다.
또한 같은 인력으로 더 많은 업무를 처리하거나 기존 자료를 다른 업무에 활용할 수 있는지도 평가 대상이다.
앞선 글 「생성형 AI의 문화예술기관 활용 사례와 업무 변화」에서는 해외 활용 사례와 업무 변화를 분석했다. 이번 글에서는 신속성·정확성·확장성·업무 품질의 네 가지 기준을 중심으로 생성형 AI 도입 전후의 업무성과를 비교하고 평가하는 방법을 제시한다.
목차
1. 문화예술기관 업무성과 평가의 네 가지 기준
문화예술기관의 업무는 자료 조사, 기획, 소장자료 관리, 홍보, 관객 응대 등으로 이루어진다. 생성형 AI를 도입하면 자료 검색과 정리, 문서 초안 작성 등에 필요한 시간을 줄이고 기존 인력으로 처리할 수 있는 업무의 범위를 넓힐 수 있다.
그러나 업무가 빨라지거나 처리량이 늘었다는 사실만으로 성과가 좋아졌다고 평가하기는 어렵다. AI가 만든 결과를 다시 확인하고 수정하는 데 시간이 많이 들거나, 처리량은 늘었지만 오류가 증가했다면 실질적인 성과 개선으로 보기 어렵다. 결과물의 정확성과 실제 업무 목적에 대한 적합성도 함께 확인해야 한다.
이 글에서는 문화예술기관의 생성형 AI 도입 전후를 비교하기 위해 업무성과를 다음 네 가지 기준으로 살펴본다.
| 구분 | 평가 기준 | 확인할 내용 |
|---|---|---|
| 과정 | 신속성 | 업무를 완료하는 데 걸리는 시간 |
| 과정 | 확장성 | 처리할 수 있는 업무의 폭과 규모 |
| 결과 | 정확성 | 검증 가능한 사실과의 일치 |
| 결과 | 업무 품질 | 업무 목적과 이용자에 대한 적합성 |
이 네 가지 기준은 기존 업무성과 연구와 생성형 AI 실증연구에서 사용된 시간, 처리량, 정확성, 결과물 품질 등의 지표를 문화예술기관의 업무에 맞게 재구성한 것이다. 하나의 표준 평가척도를 제시하려는 것이 아니라, 생성형 AI 도입 효과를 실제 업무자료를 통해 확인하기 위한 분석기준이다.
네 기준은 서로 분리되어 있지 않다. 예를 들어 AI를 활용해 초안 작성시간을 줄였더라도 사실 확인과 수정에 더 많은 시간이 필요했다면 전체 업무시간은 크게 줄지 않을 수 있다. 처리할 수 있는 업무가 늘었더라도 오류가 증가하거나 결과물의 품질이 낮아졌다면 성과가 개선되었다고 보기 어렵다. 반대로 같은 인력으로 더 다양한 업무를 수행하면서 정확성과 품질까지 유지했다면 실질적인 성과 개선으로 볼 수 있다.
따라서 생성형 AI의 업무성과는 하나의 지표로 판단하기보다 신속성·정확성·확장성·업무 품질이 각각 어떻게 달라졌는지를 함께 살펴봐야 한다. 품질이 각각 어떻게 달라졌는지를 함께 살펴봐야 한다. 이하에서는 네 가지 기준을 차례로 살펴본다.
2. 신속성: 업무가 끝나는데 걸리는 시간
생성형 AI는 자료 검색, 문서 요약, 정보 분류, 초안 작성 등에 걸리는 시간을 줄일 수 있다. 이러한 변화는 문화예술기관의 기획·행정·자료관리 업무에서 반복적으로 나타날 수 있다. 담당자가 자료를 처음부터 읽고 정리하는 대신 AI가 정리한 내용을 확인하고 필요한 부분을 보완하는 방식으로 업무과정이 달라질 수 있기 때문이다.
그러나 한 단계의 시간이 줄었다고 업무 전체가 빨라지는 것은 아니다. 초안은 빠르게 만들어졌지만 사실 확인과 문장 수정에 시간이 더 들거나, AI가 생성한 결과물을 기관의 형식과 목적에 맞게 다시 고치는 작업이 추가될 수 있다. 따라서 생성형 AI의 시간 절감 효과는 초안 작성시간만 볼 것이 아니라 업무가 시작된 시점부터 최종 결과물이 완성될 때까지의 전체 과정을 확인해야 한다.
신속성을 평가할 때는 다음 두 가지 시간을 구분해 기록하는 것이 좋다.
| 측정 대상 | 기록할 내용 |
|---|---|
| 작업시간 | 자료 준비, AI 활용, 사실 확인, 검토·수정에 담당자가 실제로 투입한 시간 |
| 전체 완료시간 | 업무 요청 시점부터 검토·결재·보고 등 최종 결과물이 완성될 때까지 걸린 시간 |
작업시간이 줄어도 전체 완료시간은 그대로일 수 있다. 검토가 밀리거나 승인 대기가 길어지면 최종 결과물이 완성되는 시점은 늦어지기 때문이다. 반대로 전체 완료시간은 줄었지만 담당자의 실제 작업시간이 거의 달라지지 않았다면 그 변화가 AI 활용 때문인지 전달·승인 절차의 변화 때문인지 구분할 필요가 있다.
시간 절감은 다음과 같이 비교할 수 있다.
전체 시간 절감 = AI 도입 전 업무 전체 소요시간 − AI 도입 후 업무 전체 소요시간
결과가 양수라면 해당 업무의 전체 소요시간이 줄었다는 의미다. 그러나 이 수치만으로 업무성과가 향상되었다고 결론 내릴 수는 없다. 절약한 시간이 사실 확인이나 수정 단계로 이동했을 수 있고, 처리 건수나 새롭게 수행할 수 있게 된 업무가 증가했을 수도 있기 때문이다. 이러한 변화는 뒤에서 다루는 확장성과 함께 확인해야 한다.
비교할 때는 같은 종류의 업무를 기준으로 해야 한다. 전시자료 조사와 행사 홍보문 작성처럼 내용과 절차가 다른 업무를 비교하면 시간 차이가 AI 활용 때문인지 업무 특성 때문인지 구분하기 어렵다. 자료량, 요구되는 완성도, 검토 단계가 비슷한 업무끼리 비교하고 사실 확인과 수정에 사용된 시간도 함께 기록하는 것이 좋다.
생성형 AI가 업무시간과 생산성에 영향을 줄 수 있다는 점은 기존 실증연구에서도 확인된다. Noy와 Zhang의 실험에서는 생성형 AI를 사용한 집단의 과제 수행시간이 감소하고 결과물의 품질도 향상된 것으로 나타났으며, Brynjolfsson·Li·Raymond의 고객지원 업무 연구에서도 생성형 AI 지원 도구 사용 이후 시간당 문제 해결 건수가 증가했다.
다만 이러한 연구는 문화예술기관의 업무를 직접 측정한 것은 아니다. 업무의 성격과 검토 절차가 다르면 시간 절감의 크기도 달라질 수 있다. 따라서 기존 연구의 수치를 문화예술기관에 그대로 적용하기보다 생성형 AI가 업무시간과 생산성을 변화시킬 수 있다는 실증적 근거로 참고하고, 기관의 실제 업무자료를 통해 별도로 확인하는 것이 적절하다.증적 근거로 참고하고 기관의 실제 업무자료를 통해 별도로 확인하는 것이 적절하다.
3. 정확성: 검증 가능한 사실과의 일치
문화예술기관의 업무에는 확인 가능한 사실이 자주 들어간다. 작품명과 작가명, 제작 연도, 전시 기간, 소장 이력, 공연 일정처럼 객관적으로 확인할 수 있는 정보가 안내문과 홍보자료, 소장자료, 연구자료 등에 정확하게 반영되어야 한다. 이러한 정보에 오류가 생기면 관객과 연구자에게 잘못된 내용을 전달하고, 담당자는 이를 다시 확인하고 수정해야 한다.
생성형 AI가 만든 문장은 자연스럽고 그럴듯해 보여도 사실과 다를 수 있다. 미국 국립표준기술연구소(NIST)는 2024년 생성형 AI 위험관리 프로파일에서 사실과 다른 내용을 그럴듯하게 생성하는 현상을 생성형 AI의 주요 위험 가운데 하나로 다루고 있다. 따라서 문장이 자연스럽다는 이유만으로 정보가 정확하다고 판단해서는 안 된다.
여기서 정확성은 근거 자료와 대조하여 확인할 수 있는 사실정보가 맞는지를 뜻한다. 작가명, 연도, 장소, 작품명, 일정, 인용문처럼 출처를 통해 검증할 수 있는 정보가 평가 대상이다. 반면 작품의 의미나 시대적 맥락에 대한 해석과 같이 하나의 정답으로 확인하기 어려운 부분은 정확성보다 뒤에서 다루는 업무 품질의 영역에서 평가하는 것이 적절하다.
정확성을 측정하려면 AI가 생성한 초안과 검토·수정이 끝난 최종 결과물을 구분해 기록하는 것이 좋다. 초안에 오류가 얼마나 있었고 검토 과정에서 얼마나 수정되었는지를 보면 AI 결과를 검증하는 데 필요한 부담을 파악할 수 있다. 최종 결과물에 남아 있는 오류는 실제로 기관이 외부에 제공하는 정보의 정확성을 보여준다.
| 확인 항목 | 기록할 내용 |
|---|---|
| 사실 오류 | 작가명·작품명·연도·장소·일정 등 검증 가능한 정보의 오류 |
| 근거 없는 정보 | 기관 자료나 확인 가능한 출처에서 뒷받침되지 않는 세부 내용 |
| 핵심 정보의 누락·변형 | 원자료의 중요한 내용이 빠지거나 의미가 달라진 경우 |
| 수정 후 오류 | 검토와 수정이 끝난 최종 결과물에도 남아 있는 오류 |
비교는 같은 종류의 업무와 비슷한 자료를 기준으로 해야 한다. 전시 안내문 초안과 관객 문의 답변은 정보의 구성과 오류 유형이 다르므로 별도로 살펴보는 것이 좋다. 해석이 필요한 문장은 사실 오류로 분류하지 않고 업무 품질 항목에서 다룬다.
4. 확장성: 다룰 수 있는 업무의 폭과 규모
생성형 AI는 기존 업무의 처리량을 늘리는 데 활용될 뿐 아니라, 이전에는 시간이나 인력 부족으로 수행하기 어려웠던 업무까지 처리할 가능성을 넓힌다. 반복되는 자료 정리와 요약을 AI가 지원하면 이전에는 시간이 부족해 미뤄 두었던 작업을 수행할 여지가 생긴다. 여러 형식의 안내문을 제작하거나 관객 문의에 대응하는 것처럼 적은 인력으로 충분히 수행하기 어려웠던 업무도 검토 대상이 될 수 있다.
이 글에서 확장성은 두 방향으로 본다. 하나는 다룰 수 있는 업무 종류가 늘어나는 업무 범위의 확대이고, 다른 하나는 비슷한 인력과 자원으로 처리하는 업무 규모의 확대다.
두 변화는 구분해서 보아야 한다. 새로운 업무를 수행하게 되었더라도 전체 처리량이 늘지 않을 수 있고, 기존 업무의 처리량만 증가할 수도 있다. 따라서 업무 범위와 처리 규모를 함께 확인해야 AI 도입 이후 실제로 업무 수행능력이 확대되었는지를 판단할 수 있다.
| 평가 관점 | 확인할 내용 | 지표 예시 |
| 업무 범위 | AI 활용으로 새롭게 수행할 수 있게 된 업무 유형 | 적용 업무 유형 수, 기존에 미뤄졌던 업무의 수행 여부 |
| 처리 규모 | 비슷한 시간과 인력으로 완료한 업무량 | 직원 투입시간당 처리 건수, 일정 기간에 정리한 자료량 |
| 투입 자원 | 처리 규모 증가에 실제로 든 추가 시간·인력 | 건별 투입시간, 추가 검토 인력·시간 |
처리 건수가 늘었다는 사실만으로 확장성이 높아졌다고 판단할 수는 없다. 업무량이 늘면서 추가 인력이나 검토시간도 그만큼 증가했다면 자원 대비 처리 규모는 실질적으로 달라지지 않은 것이다. 반대로 같은 인력으로 더 다양한 요청에 대응하면서 처리량도 늘었다면 업무 범위와 규모가 함께 확대되었다고 평가할 수 있다.
앞서 소개한 상담업무 연구에서도 생성형 AI 활용에 따른 생산성 향상의 폭은 직원의 경험과 숙련도에 따라 달랐다. 이는 확장성의 크기를 인력 조건과 분리해서 보기 어렵다는 점을 보여준다.
따라서 확장성은 **‘얼마나 많이 했는가’만이 아니라 ‘같은 자원으로 무엇을 새롭게 또는 더 많이 할 수 있게 되었는가’**를 기준으로 평가해야 한다. 처리량 증가와 함께 추가 인력·시간, 정확성, 업무 품질을 같이 확인해야 실제 성과를 판단할 수 있다.
5. 업무 품질: 목적과 이용자에 대한 적합성
정확한 정보는 업무 품질의 필요조건이지만 충분조건은 아니다. 사실이 모두 맞는 결과물이라도 기관의 목적을 충분히 이루지 못할 수 있다. 전시 안내문은 관람객이 작품을 이해하는 데 도움이 되어야 하고, 내부 기획자료는 담당자가 판단을 내리는 데 필요한 내용을 담고 있어야 한다.
3장에서 정확성이 ‘정보가 사실과 일치하는가’를 묻는다면, 업무 품질은 ‘결과물이 목적과 이용자에게 적합한가’를 묻는다.
| 평가 기준 | 확인할 질문 |
| 목적 적합성 | 결과물이 해당 업무에서 의도한 역할을 하는가 |
| 이해도 | 대상 독자가 내용을 쉽게 이해할 수 있는가 |
| 맥락 적합성 | 기관·작품·프로그램의 특성과 맥락을 적절히 반영하는가 |
| 활용도 | 담당자나 관객이 결과물을 실제 업무와 이용에 활용할 수 있는가 |
이 네 항목은 업무의 목적에 따라 다르게 적용해야 한다. 관람객 안내문과 내부 보고서에 같은 평가기준을 그대로 적용할 수는 없다. 안내문에는 이해하기 쉬운 표현과 작품 맥락이 중요하고, 내부 자료에는 핵심 정보의 정리와 의사결정에 필요한 내용이 중요하다.
업무 품질은 기관 내부의 관점만으로 판단하기 어렵다. 내부 담당자는 결과물이 기관의 목적과 전문적 맥락에 맞는지를 평가하고, 관객이나 이용자는 내용을 이해하기 쉬운지, 필요한 정보를 얻을 수 있는지를 평가할 수 있다. 두 관점을 함께 보면 결과물의 전문성과 실제 이용가치를 구분해 확인할 수 있다.
품질 평가는 기관 내부 전문가와 관객·이용자의 관점을 나누어 수집하는 것이 좋다. 전문가와 이용자의 평가를 같은 점수 하나로 합치기보다 각각 기록하면 내부 기준과 실제 이용 경험을 함께 확인할 수 있다. 단순한 조회수나 만족도만으로 품질을 판단해서는 안 된다. 많이 봤다는 사실이 내용의 정확성이나 유용성을 곧바로 보여주는 것은 아니기 때문이다.
결과물의 품질은 AI를 도입했다고 자동으로 좋아지지 않는다. 어떤 업무에 AI를 적용했는지, 생성된 내용을 어떻게 검토·수정했는지, 최종 결과물이 목적과 이용자에게 적합했는지에 따라 달라진다.
6. 네 가지 기준으로 도입 전후를 비교하기
신속성·정확성·확장성·업무 품질은 각각 다른 측면을 평가하지만, 실제 생성형 AI의 업무성과를 판단할 때는 네 가지를 함께 살펴봐야 한다. 업무시간이 줄었더라도 오류가 늘었다면 성과가 개선되었다고 단정하기 어렵고, 처리량이 늘었더라도 추가 검토 인력이 크게 증가했다면 실질적인 효율 향상은 제한적일 수 있기 때문이다.
따라서 문화예술기관의 생성형 AI 도입 효과는 단순히 AI 사용 전과 후의 결과물만 비교하기보다, AI가 어떤 업무 단계에 들어왔고 그에 따라 업무 배분과 검토 과정이 어떻게 달라졌는지부터 확인하는 것이 좋다.
이를 하나의 흐름으로 정리하면 다음과 같다.
생성형 AI 도입 → 업무 배분과 검토 과정의 변화 → 신속성·정확성·확장성·업무 품질의 변화
같은 AI 도구를 사용하더라도 어느 업무에 적용했는지에 따라 결과는 달라질 수 있다. 자료 조사에 활용한 경우와 관객 안내문 작성에 활용한 경우는 요구되는 정확성과 품질 기준이 다르다. 누가 결과물을 검토하는지, 수정이 어느 단계에서 반복되는지, 기존 업무 절차가 어떻게 바뀌었는지도 결과에 영향을 준다.
따라서 생성형 AI 도입 효과를 비교할 때는 다음 네 가지를 함께 확인하는 것이 좋다.
| 분석 대상 | 확인할 내용 |
|---|---|
| AI 활용 범위 | 어떤 업무와 어느 단계에서 AI를 활용했는가 |
| 업무과정의 변화 | 작성·검토·수정에 쓰는 시간과 담당자의 업무 배분은 어떻게 달라졌는가 |
| 성과의 변화 | 신속성·정확성·확장성·업무 품질은 각각 어떻게 달라졌는가 |
| 업무별 차이 | 업무 특성과 기존 절차에 따라 결과가 어떻게 다르게 나타나는가 |
예를 들어 전시 안내문 작성에 AI를 도입했다고 가정해 보자. 초안 작성시간이 60분에서 20분으로 줄었다고 해서 곧바로 성과가 개선되었다고 판단해서는 안 된다. 사실 확인과 문장 수정에 추가로 30분이 필요했다면 실제 시간 절감은 처음 예상한 것보다 작아진다.
반면 같은 시간에 더 많은 안내문을 작성하고, 오류가 늘지 않았으며, 관람객이 내용을 이해하는 데에도 문제가 없었다면 신속성뿐 아니라 확장성과 업무 품질에서도 개선이 나타났다고 볼 수 있다.
이처럼 AI 성과평가에서는 ‘얼마나 많이 사용했는가’보다 ‘업무가 실제로 어떻게 달라졌는가’를 확인하는 것이 중요하다. AI 사용 횟수나 생성한 문서 수는 활용 정도를 보여줄 수 있지만, 그 자체가 업무성과를 의미하지는 않는다.
여기서 제시한 네 가지 기준은 완성된 표준 평가모형이 아니라 문화예술기관이 AI 도입 전후의 업무자료를 수집하고 비교하기 위한 실무적 평가기준이다. 실제 적용할 때는 같은 종류의 업무를 비교하고, 업무량·담당자·검토절차처럼 결과에 영향을 미칠 수 있는 조건도 함께 기록해야 한다.
이러한 비교가 축적되면 기관은 어느 업무에서 시간이 실제로 줄었는지, 어느 단계에서 검토 부담이 커졌는지, 어떤 업무에서 처리 범위와 품질이 함께 개선되었는지를 확인할 수 있다. 생성형 AI의 업무성과는 AI를 도입했다는 사실 자체보다 이러한 업무과정과 결과의 변화가 지속적으로 나타나는지를 통해 판단하는 것이 적절하다.
결론: 생성형 AI 도입 효과는 업무성과로 평가해야 한다
생성형 AI는 문화예술기관의 자료 검색, 문서 작성, 소장자료 관리와 관객서비스에 활용되고 있다. 그러나 AI를 도입하거나 업무시간을 단축한 것만으로 성과가 개선되었다고 볼 수는 없다. 업무 처리에 필요한 전체 시간과 결과물의 정확성, 활용 범위와 품질을 함께 확인해야 한다.
문화예술기관 업무성과 평가에는 다음 네 가지 기준이 필요하다.
- 신속성: 자료 검색부터 검토·수정까지 전체 업무시간이 얼마나 줄었는가
- 정확성: 정보의 오류가 줄고 검증 가능한 결과물이 만들어졌는가
- 확장성: 같은 인력과 자원으로 더 많은 업무를 처리하거나 다른 업무에 활용할 수 있는가
- 업무 품질: 최종 결과물이 기관의 업무 목적과 이용자의 요구에 적합한가
평가할 때는 AI 도입 전후의 업무시간, 처리량, 오류 발생률, 검토·수정 횟수와 결과물의 품질을 비교해야 한다. 업무별 특성에 따라 평가항목과 측정 방법도 달리 적용할 필요가 있다.
평가 결과는 다음 업무 개선에 활용해야 한다. 시간이 줄어든 업무는 활용 범위를 넓히고, 오류나 검토 부담이 증가한 업무는 처리 절차와 담당자의 역할을 조정해야 한다.
생성형 AI 도입의 성과는 사용 횟수가 아니라 업무 처리방식과 최종 결과물이 얼마나 개선되었는지로 확인할 수 있다.
함께 읽을 글
생성형 AI의 문화예술기관 활용 사례와 업무 변화
기획·소장자료·홍보·관객서비스·행정에서 나타나는 변화를 살펴본다.
생성형 AI가 바꾸는 예술 창작과 감상
창작 과정과 감상 방식, 관객 경험의 변화를 분석한다.
참고자료 및 출처
Brynjolfsson, E., Li, D., & Raymond, L. R. (2025). Generative AI at Work. The Quarterly Journal of Economics, 140(2), 889–942.
The Quarterly Journal of Economics 원문 DOI
Noy, S., & Zhang, W. (2023). Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence. Science, 381(6654), 187–192. Science 원문 DOI
Campbell, J. P., & Wiernik, B. M. (2015). The Modeling and Assessment of Work Performance. Annual Review of Organizational Psychology and Organizational Behavior, 2, 47–74.
Campbell & Wiernik (2015) — The Modeling and Assessment of Work Performance, Annual Review of Organizational Psychology and Organizational Behavior, Vol. 2, pp. 47–74 Annual Reviews
NIST (2024) — Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1 NIST 원문