Elevenlabs Docs (conv ai)

• https://elevenlabs.io/docs/conversational-ai
• Introduction
  • Agent Setup
    • Conversational AI platform = STT + LLM + TTS
    • 5) Configure Data Collection : 대화를 분석하고, agent 개선을 위한 평가 및 데이터 수집을 구성.
      • 5-1) Configure Evaluation Criteria
      • 5-1) Set Up Data Collection
      • 5-3) View Conversation History
  • Publishing
• Customization
  • Webhooks Tools
    • agent -> 외부 함수 URL 호출.
    • Secrets 등록, Tool 추가, Header 등등의 스팩 설정.
    • Tool 의 기능을 알려주는 System Prompt 작성.
  • Client Tools
    • agent -> 사용자 frontend 이벤트 트리거.
    • 원하는 Client-Side Event 선언 및 해당 기능 구연.
  • Integrate Your Own LLM
    • ...
  • Knowledge Base
    • File, Url, Text
    • Non-enterprise = 5 개 이하 , 최대 20MB 및 300,000 자
  • Dynamic Conversation
    • 최상위 agent 정의후, 사용자마다 동적으로 변화는 메타정보를 재설정.
    • 각 세션마다 agent 의 prompt, first_message, language 등을 오버라이드 할 수 있다.
• Etc
  • Python SDK
  • WebSocket
    • 원하는 agent 의 wss url 받아와서 실시간 양방통신 하기.
    • Client-to-Server Messages
      • 종류 
      • user_audio_chunk : "user_audio_chunk": "<base64-encoded-audio-data>"
        • PCM 16-bit mono format, Base64 encoded, Sample rate of 16,000 Hz
        • Recommended Chunk Duration
          • 0.25초 마다 오디오 청크를 보내기.
          • (16,000Hz 샘플 속도에서 약 4,000개 샘플의 청크)
        • Optimizing Latency and Efficiency
          • 네트워크 상황에 맞게 청크 사이즈 조절.
      • pong : "type": "pong", "event_id": 12345
    • Server-to-Client Messages
      • 종류
      • conversation_initiation_metadata
      • user_transcript
      • agent_response
      • audio
      • interruption
      • ping : "type": "ping", "ping_event": { "event_id": 13579, "ping_ms": 50 }
    • Latency Management
      • Adaptive Buffering : 네트워크 상황에 버퍼 사이즈 조절.
      • Jitter Buffer : https://blog.naver.com/awesomedad/221073406454
      • Ping-Pong Monitoring : 왕복 시간을 측정하고 그에 따라 조정.
    • Security Best Practices
      • API 키 제한 잘 걸어두기...

-끝-