내가 본 웹페이지와 파일을 직접 검색한다, 자체 호스팅 색인 'Hister'

인터넷에서 유용한 문서를 찾아 읽고 나서 며칠 뒤 다시 찾으려 하면 좀처럼 나오지 않는다. 브라우저 방문 기록은 제목과 URL만 훑을 뿐 문서 안에 담긴 문장까지 뒤지지는 못하고, 상용 검색 엔진은 내가 실제로 열어 본 페이지가 아니라 전체 웹을 대상으로 결과를 내놓는다. Hister는 이 간극을 겨냥한다. 자신이 방문한 페이지와 보관 중인 파일을 대상으로 전문(full text) 색인을 만들고, 그 색인을 사용자가 지정한 서버에 두어 직접 통제하도록 설계된 자체 호스팅 검색 엔진이다.

무엇을 색인하고 어떻게 찾는가

Hister의 출발점은 '이미 유용하다고 판단해 열어 본 것'을 다시 쓸 수 있게 만드는 데 있다. 색인 대상은 여러 경로로 들어온다. 브라우저 확장 기능은 새로 방문한 페이지를 자동으로 저장하고, 로컬 폴더를 감시(watch)해 파일 변화를 반영하며, 기존 방문 기록을 가져오거나(import) 특정 사이트를 크롤링해 넣을 수도 있다. 클라이언트가 대상을 수집하면 서버 측에서 의미 있는 부분을 추출해 전체 텍스트를 색인한다. 제목과 URL 너머, 문서 안에 실제로 쓰인 단어까지 검색 범위에 들어온다는 점이 핵심이다.

검색 문법도 단순 키워드 매칭에 머무르지 않는다. 필드 필터, 따옴표로 묶은 구(phrase) 검색, 와일드카드, 특정 단어를 배제하는 부정(negation), 날짜 범위, 그리고 자주 쓰는 질의를 별칭으로 저장하는 쿼리 앨리어스를 지원한다. 색인과 순위에는 건너뛰기(skip)와 우선순위(priority) 규칙을 적용할 수 있고, 문서가 바뀌어도 이전 내용을 남겨 두는 버전 관리 기능이 있다. 지원 형식과 웹사이트에서 구조화된 데이터를 뽑아내는 추출기가 별도로 동작하며, 의미 기반(semantic) 검색은 선택적으로 켤 수 있다. 검색 결과 옆에는 저장된 미리보기를 깔끔하게 띄워, 검색 상태를 잃지 않고 원문을 확인하도록 했다.

프라이버시와 접근 방식

Hister가 내세우는 가장 큰 차별점은 데이터의 소재지다. 서버는 사용자가 무엇을 검색하는지 외부로 보고하지 않으며(phone home하지 않으며), 클라이언트는 색인된 내용을 사용자가 설정한 Hister 서버로만 보낸다. 개인용 구성이라면 전체 시스템을 로컬 머신 한 대에서 돌릴 수 있어, 방문 이력과 문서 본문이라는 민감한 정보를 제3의 서비스에 넘기지 않고도 강력한 개인 검색을 구축할 수 있다. 소스 코드는 공개돼 있고 AGPLv3 자유 소프트웨어 라이선스를 따른다는 점도, 서버가 실제로 무엇을 하는지 검증하려는 실무자에게는 의미가 크다.

접근 경로가 다양하다는 점도 눈여겨볼 만하다. 동일한 색인을 웹 인터페이스, 터미널 클라이언트, CLI, HTTP API, 그리고 MCP 서버를 통해 모두 사용할 수 있다. 특히 MCP를 지원한다는 것은 AI 어시스턴트가 개인 색인에서 직접 자료를 검색해 가져오도록 연결할 수 있다는 뜻이다. 사람이 브라우저에서 찾는 것과, 스크립트가 API로 조회하는 것과, AI가 도구로 참조하는 것이 같은 데이터 원본을 바라보게 된다.

도입을 고민하는 실무자에게

배포 형태는 규모에 따라 나뉜다. 단일 바이너리로 로컬에서 실행하는 개인용 구성이 있고, 여러 사용자가 함께 쓰는 공유 서버는 SQLite 또는 PostgreSQL을 백엔드로 두고 사용자별 접근 범위를 구분한다. 개인 지식 관리에 관심 있는 개발자라면 로컬 바이너리로 가볍게 시작하고, 팀 단위 자료 검색이 필요하면 PostgreSQL 기반 공유 서버로 확장하는 경로를 그릴 수 있다.

다만 공개된 소개 자료만으로는 판단을 유보해야 할 부분도 분명하다. 색인 대상 규모가 커졌을 때의 성능, 확장 기능이 지원하는 브라우저 범위, 추출기가 다루는 구체적인 파일 형식과 사이트 종류, 의미 검색에 필요한 모델이나 자원 요건 같은 실무 지표는 이 소개에 드러나 있지 않다. 자체 호스팅인 만큼 서버 운영과 백업, 접근 통제는 사용자 몫으로 남으며, 방문 기록과 문서 본문을 한곳에 모으는 색인 자체가 관리해야 할 민감 자산이 된다는 점도 잊지 말아야 한다. 그럼에도 '내가 본 것을 내 통제 아래 다시 찾는다'는 문제의식과, 웹·터미널·API·MCP를 아우르는 단일 색인이라는 구조는, 개인 데이터 주권과 AI 연동을 동시에 고민하는 이들에게 검토해 볼 만한 선택지다.