권한

다섯 층

권한의 경우에도 기술적 capability, 조직 정책상 permission, 현재 업무에 대한 delegation, 필요할 때의 사람 승인, 실행 시점의 유효성을 구분한다. 에이전트가 API credential을 갖고 있다는 사실은 그 credential로 가능한 모든 행동을 현재 업무에서 해도 된다는 뜻이 아니다. 사용자가 버튼을 눌렀다는 사실도 해당 사용자의 조직 권한을 초과하는 변경을 허용하지 않는다. 승인 인터페이스는 권한 체계의 표현과 입력 경로이며, 권한 체계를 대신하는 장식이 아니다.

승인 경로의 독립성

사람의 승인 경로 또한 에이전트의 실행 경로와 구분되어야 한다. "human approved"라는 문자열을 에이전트가 기록했다고 해서 사람의 판단이 확인되는 것은 아니다. 누가 무엇을 검토했고 어떤 버전을 승인했는지 애플리케이션이 확인할 수 있어야 한다. 승인 이후 대상, 수신자, 금액, 범위가 바뀌면 기존 승인을 그대로 재사용할 수 있는지 다시 평가한다. 사람의 직접 조작과 에이전트 행동이 같은 상태에 영향을 주는 환경에서는 이러한 재평가가 양쪽 경로에 일관되게 적용되어야 한다.

현재 허용된 행동

Allowed Action Set은 이 평가의 결과다. 그러나 화면에 한 번 전달된 허용 행동 목록은 영구적인 실행권이 아니다. 표현을 만들 때는 허용되었어도 사용자가 실행할 때는 권한이 만료되거나 대상이 변경되었을 수 있다. Lyotic은 현재 행동을 설명하는 표현과 실제 실행 시점의 재검증을 연결해야 한다. 오래된 버튼을 눌렀을 때 과거 상태를 기준으로 실행하는 대신, 무엇이 바뀌어 다시 확인이 필요한지를 설명하는 전환이 필요하다.

const check = validateAtExecution(state, 'p-mapping', 'v3');
// { ok: false, reasons: ['The proposal changed from v3 to v4.', 'Authority is stale.'] }

위험의 여러 차원

위험도는 낮음, 중간, 높음이라는 하나의 표지만으로 결정하지 않는다. 금전적 영향, 개인정보 노출, 변경 대상의 수, 되돌릴 수 있는 정도, 하위 시스템으로의 전파, 오류 발견의 어려움, 복구 비용, 시간 민감성, 증거 부족, 권한의 불명확성은 서로 다른 차원이다. 작은 금액의 작업도 되돌릴 수 없는 외부 제출일 수 있고, 한 개 설정 변경이 이후 수천 개 레코드에 영향을 줄 수 있다. Lyotic의 정책은 이러한 조건을 조합하되, 임의의 총점이 중요한 금지 조건을 상쇄하지 못하도록 해야 한다.

영향에 비례한 정보 공개

Consequence-Proportional Disclosure는 위험이 높을수록 카드를 크게 만들라는 뜻이 아니다. 판단에 필요한 정보가 충분히 드러나야 한다는 뜻이다. 영향을 받는 객체, 유지되는 객체, 변경 범위, 회복 가능성, 외부 통지 여부, 대안, 검증 조건이 필요한 경우에는 이를 제공한다. 반대로 범위가 작고 되돌릴 수 있으며 위임된 권한 안에 있는 작업에 과도한 승인 절차를 붙이면, 중요한 순간의 주의까지 소모하게 된다.

사람이 판단해야 하는 시점

Human judgment point는 에이전트가 막연히 자신 없다고 느끼는 순간만을 뜻하지 않는다. 새로운 해석이 행동의 의미를 바꾸거나, 해결되지 않은 증거 충돌이 남거나, 위임 범위를 넘거나, 되돌릴 수 없는 영향이 시작되거나, 복구에 사업적 판단이 필요한 순간이다. Lyotic은 이러한 조건을 표현으로 드러내야 한다. 사용자가 판단해야 하는 대상은 "AI를 믿겠습니까"가 아니라, 명시된 근거와 결과를 가진 구체적인 선택이어야 한다.