java吧 关注:1,289,989贴子:12,820,029
  • 4回复贴,共1

求教一个系统设计问题,后端调用ai模型

只看楼主收藏回复

rt,现在做一个功能让用户上传文本,后台调用ai tts模型生成文本对应的音频,把音频返还给用户
要接入的tts模型有多种,每种有不同的请求限制,比如openai的允许同时发起100个请求,讯飞的允许50个,还有自己训练的tts集群只支持同时发起10个请求
现在我的做法是为每种模型建立不同大小的线程池,同时为每种不同模型设立不同消息队列channel,每个channel以不同的速度消费(对应的线程池大小不同)
现在的流程是,一个新的请求到达,先把请求数据插入数据库,然后判断一下对应模型的消息队列中已经在等待的任务数量,如果太多直接返回失败,否则加入相应队列
现在这种设计勉强能用,有哪些建议改进的地方吗


IP属地:北京来自Android客户端1楼2023-11-30 01:31回复
    目前暂不考虑失败重试的问题,直接定时任务更新超时任务状态为失败


    IP属地:北京来自Android客户端2楼2023-11-30 03:52
    回复
      2025-12-04 07:35:28
      广告
      不感兴趣
      开通SVIP免广告
      我顶


      IP属地:北京来自Android客户端3楼2023-11-30 07:00
      收起回复
        咋没人啊


        IP属地:北京来自Android客户端4楼2023-11-30 13:10
        回复