"CEO가 AI를 위해 개발자를 해고했더니, 개발자들이 오픈소스 AI CEO를 만들었다." 센테랩스(SenteLabs)가 공개한 오픈이그제큐티브(OpenExecutive)는 이런 도발적인 문구를 스스로 내건 프로젝트다. 이름 그대로 회사의 가상 임원진 역할을 하는 AI 시스템으로, 하버드 MBA 수준의 경영 지식을 갖춘 시니어 자문역을 표방한다. 라이선스는 상업적 사용이 자유로운 아파치 2.0이며, 백엔드는 FastAPI, 프런트엔드는 Next.js로 구성돼 있다. 문구 자체는 마케팅용 농담에 가깝지만, 그 아래 깔린 아키텍처는 최근 여러 기업이 고민하는 '멀티 에이전트를 실무에 안착시키는 법'에 관한 구체적인 참고 사례를 제공한다.
하나의 목소리, 여덟 개의 전문가 에이전트
이 시스템의 핵심 설계는 사용자에게는 일관된 하나의 임원 페르소나로 보이지만, 그 뒤에서 여덟 개의 전문 분야 클로드(Claude) 에이전트가 움직인다는 점이다. 질문이 들어오면 내부적으로 적절한 전문가 에이전트에게 라우팅되지만, 이 내부 구조는 사용자에게 결코 노출되지 않고 최종 답변은 항상 동일한 어조의 단일 임원 목소리로 정리돼 나온다. 여러 에이전트의 답을 그대로 나열해 사용자를 혼란스럽게 만드는 대신, 조율된 하나의 결론으로 수렴시키는 방식이다. 조직 내 여러 전문성이 필요하지만 사용자 경험은 단순해야 하는 실무 도구에서 참고할 만한 패턴이다.
지식 공급은 두 개의 검색 계층으로 이뤄진다. 하나는 MBA 수준의 경영 지식을 담은 내장 마크다운 문서로, 이는 깃(git)으로 관리되며 시작 시 벡터 데이터베이스인 크로마DB(ChromaDB)에 적재된다. 다른 하나는 사용자가 올린 자사 문서로, 별도의 컬렉션에 청크 단위로 저장된다. 피치덱, 재무 모델, 전략 문서 등을 웹 UI나 API로 올리면 임원이 답변 시 이를 참조한다. 여기서 주목할 설계 원칙은 검색으로 끌어온 RAG 컨텍스트를 캐시되는 시스템 프롬프트가 아니라 매번 바뀌는 사용자 턴에 주입한다는 점이다.
기억하고, 먼저 챙기는 임원
단순 질의응답을 넘어서는 두 가지 기능이 이 프로젝트를 차별화한다. 첫째는 에피소드 기억이다. 매 응답이 끝날 때마다 백그라운드에서 클로드 하이쿠(claude-haiku-4-5)가 핵심 의사결정과 추진 과제, 조언을 추출해 SQLite에 저장한다. 다음 세션은 지난달 임원이 무엇을 권고했는지를 담은 과거 결정 블록으로 열린다. 즉 세션이 바뀌어도 맥락이 이어진다. 둘째는 스케줄러로, 후속 조치나 시한이 걸린 작업을 먼저 꺼내 알린다. 이 작업 실행기는 처리할 항목을 데이터베이스에서 잠글 때 UPDATE … RETURNING 구문을 사용해 같은 작업이 두 번 실행되는 것을 막는다.
바로 이 스케줄러 때문에 운영상 강한 제약이 생긴다. API는 반드시 단일 인스턴스로 돌려야 하며, 두 대를 띄우면 예약된 작업이 중복 실행된다. 배포 환경인 Fly.io 설정에서 최대 실행 머신 수를 1로 고정해 둔 이유이며, 이를 임의로 늘리지 말라고 명시하고 있다. 수평 확장이 당연시되는 요즘 아키텍처 관행과 배치되는 부분이라, 도입을 검토한다면 반드시 짚어야 할 한계다. 참고로 디스코드 봇, 이메일 폴러 등도 같은 API 프로세스에 내장돼 동일한 SQLite와 벡터 저장소를 공유한다.
캐싱·로컬 모델·평가 게이트
비용 측면에서는 프롬프트 캐싱 설계가 눈에 띈다. 임원 페르소나, 회사 프로필, 지식 인덱스를 각각 별도로 캐시되게 프롬프트를 구성해, 초반 몇 턴이 지나면 최대 85%의 캐시 적중률에 이른다고 한다. 동적으로 바뀌는 내용은 캐시 블록에 절대 넣지 않는다는 원칙이 앞서 언급한 RAG 주입 방식과 맞물린다. 또한 앤트로픽 API 대신 올라마(Ollama), LM 스튜디오, vLLM, llama.cpp 같은 OpenAI 호환 로컬 서버로도 구동할 수 있고, 임원은 클로드로 두고 개별 전문가만 로컬 모델로 바꾸는 하이브리드 구성도 가능하다. 다만 서버 측 웹 검색과 앤트로픽 프롬프트 캐싱·확장 사고는 로컬 모델에서 자동 비활성화되며, 멀티 에이전트 라우팅이 도구 사용에 크게 의존하는 만큼 도구 활용에 강한 모델을 골라야 한다고 경고한다.
품질 관리 장치도 갖췄다. 평가 디렉터리에는 8개 도메인을 아우르는 29개 시나리오가 있고, 클로드 오푸스(claude-opus-4-7)를 심판으로 삼는 LLM-as-judge 방식으로 채점한다. 페르소나 일관성, 도메인 정확도, 회사 맥락 활용, 라우팅 품질, 실행 가능성 다섯 개 항목을 각각 1~5점으로 매기며, CI 게이트는 평균 3.5점 이상을 요구하고 어느 한 항목이라도 메인 대비 10% 넘게 떨어지면 PR이 막힌다. 개인정보 측면에서는 회사 프로필과 업로드 문서, 벡터 저장소가 모두 깃 추적에서 제외되며, 앤트로픽 API로 보내는 프롬프트를 제외하면 로컬 머신을 벗어나지 않는다고 설명한다.
결국 오픈이그제큐티브가 실무자에게 주는 가치는 'AI 임원'이라는 자극적 콘셉트보다, RAG를 캐시 밖으로 분리하고 세션 간 기억을 별도 파이프라인으로 추출하며 평가를 CI에 걸어두는 등 프로덕션 멀티 에이전트를 실제로 굴리기 위한 세부 결정들에 있다. 반대로 단일 인스턴스 강제나 로컬 모델의 기능 제약처럼 감춰지지 않은 한계도 분명해, 도입 여부보다 설계 참고서로 읽는 편이 더 실속 있는 프로젝트다.