2026-10-25 12:00
Qwen3.8-Flash-Next 量化实机对比：Gyro-M (TQ2_0) vs ISTA IQ3_XXS (swift-1.5)
Gyro-M模型太香了，换Gyro-M的唯一代价就是速度，收益远超预期。看官方模型卡说是Gyro-M性能比iq3xxs还好？有点难以置信就是了。
之前用IQ3XXS的swift-1.5之后最多开到164k上下文，没有视觉塔，内存被吃满干不了别的，现在换成了Gyro-M之后可以上视觉，还可以多留2G内存出来干别的，只能说技术进步越来越快了。
另外之前还试过用radiance引擎跑qwen3.8 27b paroquant int5权重，也能开256k上下文，但雷霆思考实在太严重，在DSH内基本不具有可用性，因此还是回到了strata，这个引擎是真的香。
现在唯一的遗憾就是本地模型的性能还是有所欠缺，在一些复杂任务上不够看，但以当前的性能也挺香的了。另外就是跑本地模型太看显卡了，老黄的卡还是生态最好，到处都是支持n卡的模型和引擎。我之前用的老a卡6900xt就不行，一跑rocm推理就死机，只能用vulkan走llama.cpp推理，坑中坑。新A卡目前来看好像还可以的样子，至少gfx1201的社区生态支持还不错。
下面是用Gyro-M实测统计的DSH运行数据，非bench结果。
泥潭排版太费劲，我就直接截图了arch论坛的排版了
之前用IQ3XXS的swift-1.5之后最多开到164k上下文，没有视觉塔，内存被吃满干不了别的，现在换成了Gyro-M之后可以上视觉，还可以多留2G内存出来干别的，只能说技术进步越来越快了。
另外之前还试过用radiance引擎跑qwen3.8 27b paroquant int5权重，也能开256k上下文，但雷霆思考实在太严重，在DSH内基本不具有可用性，因此还是回到了strata，这个引擎是真的香。
现在唯一的遗憾就是本地模型的性能还是有所欠缺，在一些复杂任务上不够看，但以当前的性能也挺香的了。另外就是跑本地模型太看显卡了，老黄的卡还是生态最好，到处都是支持n卡的模型和引擎。我之前用的老a卡6900xt就不行，一跑rocm推理就死机，只能用vulkan走llama.cpp推理，坑中坑。新A卡目前来看好像还可以的样子，至少gfx1201的社区生态支持还不错。
下面是用Gyro-M实测统计的DSH运行数据，非bench结果。
泥潭排版太费劲，我就直接截图了arch论坛的排版了