高通吧 关注:168,370贴子:3,883,360
  • 13回复贴,共1

苹果的uma大显存简直暴殄天物啊

只看楼主收藏回复

lz最近入职了一家国内互联网大厂,llm部门,不过lz自己是搞安全的,最近突发奇想,根据开源的大模型用lora微调做代码审计,数据lz自己是有的,但是即使是微调大模型,对显存需求也非常恐怖,动则上百g显存,单卡能满足的还真就是苹果,但是苹果的训练速度和老黄差距实在太大(跑推理尚可),要不然apple silicon ultra系列真是个人开发者的福音了,苹果啥时候开窍肯在大模型训练方面发力,这么大一块市场


IP属地:浙江来自Android客户端1楼2023-09-06 11:14回复
    @NPacific @mcayke


    IP属地:浙江来自Android客户端2楼2023-09-06 11:15
    回复
      等呗,反正UMA超大显存一直会是Apple Silicon的优势,等着看哪代能把矩阵引擎加进去


      IP属地:四川3楼2023-09-06 11:19
      回复
        水果这GPU要补课的地方可太多了


        IP属地:四川4楼2023-09-06 11:20
        回复
          这点还是佩服Intel的显卡,ARC虽然各种菜,但是硬件上N卡该有的他都有,还都不赖,后边慢慢开发软件就行


          IP属地:四川5楼2023-09-06 11:22
          回复
            zhihu上夏晶晶mackler等所说:现在就是拼内存,内存这些都是标准化的,而算力是非标准化的,看谁能把握住把老黄拉下马


            IP属地:江苏来自iPhone客户端6楼2023-09-06 11:46
            回复
              苹果肯定是自娱自乐型的,其模式就定在消费或个人工作类型


              IP属地:江苏来自iPhone客户端7楼2023-09-06 11:52
              收起回复
                买个Mac studio 就可以运行呀,弄个小点的大模型,训练有点难,自己跑着玩玩呗


                IP属地:山东来自iPhone客户端8楼2023-09-06 15:50
                收起回复
                  你可以选择4090+ddr5


                  IP属地:澳大利亚来自Android客户端9楼2023-09-06 16:42
                  回复