Python 기반 AI 웹서비스 응답 성능 최적화 전문가

[프로젝트명]
- Python 기반 AI 웹서비스 응답 성능 최적화 - 핵심 결과 노출 시간 p95 약 15초 → 7초 이하 목표

[프로젝트 개요]
-현재 운영 중인 Python 기반 AI 웹서비스의 응답 성능을 개선하는 프로젝트입니다. 본 서비스에는 AI 기반 요청 분석, 복수의 검색 경로, 파인튜닝된 리랭킹 모델, 외부 AI 연동, 병렬 처리, 캐시 및 스트리밍 응답 구조가 이미 적용되어 있습니다. 현재 대표 요청 기준 핵심 결과 노출 시간은 p95 약 15초이며, 기존 결과 품질과 사용자 흐름을 유지하면서 이를 p95 7초 이하로 단축하는 것이 목표입니다. 본 프로젝트는 신규 기능 개발이나 일반적인 RAG 구축이 아닙니다. 이미 기본적인 비동기화·병렬화·캐시 및 모델 튜닝이 적용된 운영 시스템을 대상으로 추가적인 병목을 찾아 개선해야 합니다. 따라서 단순한 async 전환, API 병렬 호출 또는 캐시 추가만으로 목표를 달성하기는 어려울 것으로 예상합니다. 실제 운영 AI 서비스의 추론·검색·외부 연동 구간을 계측하고 최적화한 경험이 있는 수행자를 찾고 있습니다.

[프로젝트 배경 및 목표]
사용자 요청이 서비스에 유입된 이후, 사용자가 실제로 소비할 수 있는 핵심 결과가 노출되는 시점을 단축하고자 합니다.
- 현재 핵심 결과 노출 시간: 대표 요청 기준 p95 약 15초
- 목표 핵심 결과 노출 시간: 합의된 테스트 조건에서 p95 7초 이하
- 기존 결과 품질 및 주요 기능 유지
- 기존 사용자 흐름 유지
- 운영 환경과 유사한 조건에서 개선 효과 검증
- 평균 응답시간이 아닌 p95 중심의 성능 개선
구체적인 대표 요청 데이터, 동시 사용자 조건, 품질 기준 및 검수 환경은 NDA 체결 후 현재 시스템의 기준선을 확인하여 상호 협의합니다.


[현재 시스템 관련 참고 사항]
현재 시스템에는 다음과 같은 요소가 적용되어 있습니다.
- AI 기반 요청 분석 및 실행 계획 수립
- 벡터 및 그래프 기반의 복합 검색
- 복수 검색 결과의 결합 및 재정렬
- 파인튜닝된 플래너 및 리랭커
- 요청 유형에 따른 복수의 처리 경로
- 주요 검색 구간의 병렬 처리
- 외부 AI API 및 데이터 저장소 연동
- 캐시 및 일부 장애 대응
- SSE 기반 단계적 결과 노출
구체적인 서비스 도메인, 모델, 데이터 구조, 프레임워크, 검색 엔진 및 인프라 구성은 공개하지 않으며, 1차 선별 후 NDA 체결 시 필요한 범위에서 공유합니다.

[과업 범위]
1. 성능 기준선 측정 및 병목 분석
- 사용자 요청부터 핵심 결과 노출까지 전체 처리 흐름 분석
- AI 추론, 검색, 리랭킹, 외부 연동 및 후처리 구간 분석
- 단계별 처리시간과 주요 자원 사용 현황 측정
- p50, p95, p99 및 오류율 등 주요 성능 기준선 수립
- 개선 우선순위 및 예상 효과 도출
- 개선 전후 동일 조건의 성능 비교
일반적인 최적화 방법을 일괄 적용하기보다, 실제 계측 결과를 바탕으로 병목을 특정하고 개선해야 합니다.

2. AI 처리 파이프라인 최적화
- AI 요청 분석 및 실행 경로 최적화
- 복수 검색 경로의 처리 효율 개선
- 모델 추론 및 리랭킹 구간 최적화
- 중복 연산과 불필요한 외부 호출 개선
- 기존 병렬 처리 구조의 효율 검증
- 요청 유형별 빠른 처리 경로 검토
- 결과 품질을 유지할 수 있는 범위에서 모델 서빙 구조 개선
현재 구조에 이미 적용된 최적화를 반복 제안하는 것이 아니라, 추가 개선이 가능한 구간과 예상 효과를 구체적으로 제시해 주시기 바랍니다.

3. 요청 처리 및 결과 노출 개선
- 핵심 결과와 부가적인 후처리 작업 분리
- 핵심 결과 우선 반환 및 스트리밍 구조 개선
- 동시성, 연결 관리 및 요청 대기 구간 개선
- 요청량 증가 시 발생하는 지연과 Tail Latency 개선
- 부가 작업이나 외부 서비스의 지연이 전체 응답으로 전파되지 않도록 개선

4. 캐시 및 장애 대응 개선
- 반복 처리 결과와 중간 결과의 캐시 적용 검토
- 외부 연동 구간의 타임아웃·재시도·폴백 개선
- 일부 구성요소가 지연되더라도 핵심 결과를 반환할 수 있도록 보완
- 특정 장애가 전체 요청 지연으로 전파되지 않도록 개선
- 주요 지연 및 오류 구간에 대한 모니터링 보완

5. 부하 테스트 및 품질 회귀 검증
- 합의된 대표 요청 데이터를 활용한 성능 테스트
- 운영 환경을 고려한 동시 사용자 조건 적용
- p50, p95, p99, 처리량 및 오류율 비교
- 핵심 결과 노출 시간과 전체 처리 완료 시간 구분
- 기존 결과 품질에 대한 회귀 검증
- 재현 가능한 테스트 방법과 결과 제공

[성능 목표 및 검수 기준]
- 기본 목표는 핵심 결과 데이터 노출 시점 기준 p95 7초 이하입니다.
- 구체적인 테스트 데이터, 동시 사용자 조건, 품질 기준 및 검수 환경은 착수 후 기준선을 측정하여 확정합니다.
- 성능 검수는 일부 유리한 요청이나 캐시 적중 요청만을 대상으로 하지 않으며, 합의된 대표 요청과 운영 유사 조건을 기준으로 진행합니다.
- 성능 개선 과정에서 기존 결과 품질이나 주요 기능을 현저히 낮추는 방식은 허용하지 않습니다.
- 초기 분석 결과 구조적인 제약이 확인되는 경우에는 단순히 목표 달성이 어렵다는 의견이 아니라, 계측 근거와 현실적인 개선 범위 및 대안을 함께 제시해야 합니다.

[GPU 및 개발 환경 관련 사항]
- 본 프로젝트에서는 개발, 실험, 모델 프로파일링 및 부하 테스트에 필요한 별도의 GPU를 제공하지 않습니다. 지원자는 프로젝트 수행에 필요한 GPU 환경을 직접 보유하고 있거나 자체적으로 확보할 수 있어야 합니다. 관련 비용은 제안 견적에 포함해 주시기 바랍니다.

지원 시 다음 내용을 간략히 기재해 주십시오.
- 사용 가능한 GPU 환경
- 자체 보유 또는 클라우드 이용 여부
- 프로젝트 투입 가능 시점
- GPU 관련 비용의 견적 포함 여부
발주사 GPU 또는 발주사 명의의 GPU 클라우드 계정은 제공하지 않습니다.

[클라이언트 준비 사항]
NDA 체결 후 다음 자료를 제공합니다.
- 기존 소스코드 접근 권한
- 서비스 및 인프라 구성 자료
- 주요 요청 처리 흐름
- 기존 성능 측정 자료
- 대표 요청 데이터
- 내부 개발자와의 온라인 기술 미팅
프로젝트 수행 과정에서는 내부 개발자와 온라인으로 협업할 예정입니다.

[주요 일정]
- 희망 착수일: 파트너 선정 및 NDA 체결 후 즉시
- 전체 수행 기간: 착수일로부터 2개월 이내
- 착수 후 2주 이내: 기준선 측정 및 주요 병목 분석
- 착수 후 6주 이내: 핵심 개선 작업 및 중간 테스트 완료
- 잔여 기간: 부하 테스트, 품질 회귀 검증, 추가 튜닝 및 문서화
세부 일정은 제안 내용과 초기 분석 결과에 따라 협의할 수 있습니다.

[지원 자격 및 우대 사항]

1. 지원 자격
- 정부지원사업 수행이 가능한 사업자
- 설립 6개월 이상
- 소프트웨어 개발 관련 업종
- 세금계산서 발행 가능
- 비교견적서 등 관련 문서 제출 가능
- NDA 체결 및 보안 기준 준수 가능
- 프로젝트 수행에 필요한 GPU 환경 확보 가능

2. 우대 사항
- 운영 중인 AI 서비스의 성능 최적화 경험
- 복수의 검색·추론 단계가 결합된 서비스 운영 경험
- 파인튜닝 모델의 서빙 및 추론 최적화 경험
- GPU 추론 성능 및 처리량 최적화 경험
- 외부 AI API가 포함된 서비스의 지연시간 개선 경험
- 스트리밍 기반 결과 선노출 경험
- p95/p99 기준의 부하 테스트 및 성능 검수 경험

[지원 시 제출 내용]
1. 유사 프로젝트 경험
- 서비스 유형 및 담당 범위
- 주요 성능 문제와 적용한 개선 방법
- 가능한 경우 개선 전후 p95 또는 p99 수치
- 실제 운영 서비스 반영 여부
- 실제 참여 인력과 담당 업무

2. 본 프로젝트에 대한 초기 접근 방법
- 우선적으로 확인할 병목 구간
- 성능 측정 및 분석 방법
- p95 약 15초에서 7초 이하로 단축하기 위한 주요 가설
- 기존 결과 품질을 유지하면서 응답시간을 줄이는 방법
- 예상되는 기술적 위험요소와 대응 방안
소스코드 확인 전 단계이므로 상세한 확정안을 요구하지는 않습니다.
다만, 비동기 처리, 병렬화, 캐시 및 모델 튜닝이 이미 일부 적용되어 있으므로, 해당 기술을 단순히 다시 적용하겠다는 제안보다는 실제 운영 환경에서 추가 병목을 확인하고 개선한 경험을 중심으로 작성해 주시기 바랍니다.

3. 투입 인력 및 수행 계획
- 실제 투입 예정 인력과 담당 업무
- 주요 인력의 AI 및 성능 최적화 경험
- 예상 기간과 작업 단계
- 항목별 세부 견적
- GPU 확보 및 운영 계획
- 성능 목표 측정 및 검수 방법
- 목표 미달 시 보완 방안
- 하자보수 기간과 범위

[산출물]
- 수정된 소스코드
- 성능 개선 전후 비교 보고서
- 주요 병목 분석 및 개선 내역서
- 성능 및 부하 테스트 스크립트
- 품질 회귀 테스트 결과
- 테스트 실행 및 결과 재현 절차
- 배포 및 롤백 절차서
- 운영 모니터링 권장 항목
- 주요 변경사항에 대한 인수인계 자료

[계약 관련 특이 사항]
- 성능 목표와 최종 검수 조건은 초기 기준선 측정 후 상호 협의하여 확정합니다.
- 성능 개선 과정에서 기존 결과 품질을 함께 검증합니다.
- 프로젝트 수행에 필요한 GPU는 지원자가 직접 확보해야 합니다.
- 승인되지 않은 외부 서비스로 소스코드나 운영 데이터를 전송할 수 없습니다.
- 목표 미달 시 보완 조건을 제안서에 명시해 주시기 바랍니다.
- 하자보수 기간은 최종 검수 후 기본 1개월 이상으로 제안해 주시기 바랍니다.
- 운영 배포 전 배포 및 롤백 방안을 제공해야 합니다.

[지원 전 참고 사항]
본 프로젝트는 AI 플래너, 복수 검색 경로, 파인튜닝된 리랭커, 병렬 처리, 캐시 및 스트리밍 응답 구조가 이미 적용된 운영 서비스를 대상으로 합니다.