glm看起来不太行啊，上下文这方面

虽然现在GLM不一定行，但是未来就可能出现几十亿参数级别的，满足阿宅日常需要的模型了。

int4理论占用只有fp32的1/8，fp16的1/4，60亿参数换算过来只有不到3g，并非不可能

不会，本地跑的效果比网页端的差多了

在公司的A40上测试了FP16和INT8量化版本ChatGLM-6B，FP16模型对话后占用14.36G，INT8多轮任务后稳定在8.72GB。晚上回家试试P40如何，不担心显存，主要是担心P40速度不行。

参数太小 能力会非常受限 没什么意义

图中，上方是P40加载未量化的FP16模型的耗时，下方是P40加载INT8量化的模型的耗时，启动耗时包含了一次预热。问了同一个续写故事问题，
量化以后无论是启动速度（实时量化加载）还是问答速度都实在太慢，要等待1分多钟...
实际上量化以后，A40上面启动速度和问答速度也好不到哪里去，同样问题要50秒。

支持技术贴

下载的模型大小是12G，模型全部按半精度保存，这个显存占用情况来看半精度浮点数也是原样存储在显存中的。
去查了一下量化的原理，现阶段INT8只是一种存储方案，最后计算时还是要靠除以一个范围值转换为浮点数的，所以浮点能力残废的卡也不能跑。什么时候模型真基本用整数计算了再说。

P106能跑不？

用P40跑过了，写个总结，会议通知啥的，文章勉强还算通顺，就是经常写一半就没了