Qwen系列的模型我都蠻喜歡的，尤其qwen3系列後，所以這次推出qwen3.5我也很期待，尤其最期待的就是qwen3.5-35b-a3b跟qwen3.5 9b了，目前9b的還沒看到推出，之後有推出再來測試看看。為何會期待這兩個模型呢?那當然是這兩模型最適合我這初階消費級顯卡本地部屬了。畢竟本地部屬不太可能跑得動那種幾百B的模型。
測試了一下，RTX5060Ti 16GB顯存，跑qwen3.5-35b-a3b 這個模型Q4等級的基本上能跑，但實在太慢了，反覆測試調整參數，也只能跑出14token/s的成績，基本上沒有35 token/s，我都認為是不可用的。
目前測試下來，大概最適合的是Q2等級的模型，目前是使用 Manojb/Qwen3.5-35B-A3B-UD-Q2_K_XL.gguf 這個模型。
可以跑出 53.65~75.98 token/s 的成績，這成績是可以接受的，回應的品質我也覺得還行，寫code的能力就一般般，反正叫他寫個數獨得到的結果蠻破的，但基本上同等級的模型沒一個能跑出來正常數獨遊戲的，都有各種bug，有些甚至連數獨是甚麼都理解錯誤，就別太要求了。
整理資料、寫文章、數學問題都還行(10.4 大還是10.15大，它有回答正確)，就是有時思考時間過長了，lm studio除了官方提供的model，都沒地方可以設定如何關閉思考。
參數設定
實測影片
文章轉載或引用，請先告知並保留原文出處與連結！！(單純分享或非營利的只需保留原文出處，不用告知)
原文連結:
https://blog.aidec.tw/post/qwen35b-a3b-test
若有業務合作需求，可寫信至： [email protected]
創業、網站經營相關內容未來將發布在 小易創業筆記