#V2EX
### [分享发现] local.ai 用来选型本地模型
有点意思，试着用 mbp m5 max 128GB 跑了这些模型，大差不差，step 的确实能够支撑日常 hermes 使用了。
这个 EigenLabs/Qwen3.8-27B-4bit 的 bench 也很有意思，用 autoresearch 提升模型在 mlx 的 throughput 。但是跑了两天，才达到 192.3 。300 多的怎么搞出来的。
<https://local.ai/radio/invite>;
https://www.v2ex.com/t/1238345#reply0
资讯同步
npub195…pwpxu
2026-08-31 04:21:23 UTC
Author Public Key
npub195q4fc2qx05y3dzg49cny2lm7nsy52wrwuqjac844dnqnx6k7xks3pwpxuPublished at
2026-08-31 04:21:23 UTCEvent JSON
{
"id": "e51b7943b429b1e0d0ef8d5126ec74e31a26c8c55b68d01a3c075c8927475ece",
"pubkey": "2d0154e14033e848b448a971322bfbf4e04a29c377012ee0f5ab66099b56f1ad",
"created_at": 1788150083,
"kind": 1,
"tags": [
[
"t",
"v2ex"
]
],
"content": "#V2EX\n### [分享发现] local.ai 用来选型本地模型\n\n有点意思，试着用 mbp m5 max 128GB 跑了这些模型，大差不差，step 的确实能够支撑日常 hermes 使用了。\n\n这个 EigenLabs/Qwen3.8-27B-4bit 的 bench 也很有意思，用 autoresearch 提升模型在 mlx 的 throughput 。但是跑了两天，才达到 192.3 。300 多的怎么搞出来的。\n\n\u003chttps://local.ai/radio/invite\u003e\nhttps://www.v2ex.com/t/1238345#reply0",
"sig": "cdf81ddd7dccdca9e0e00f82ce0811c7169b5e00e1fb6654b51be1e586bad8bc6bf8d0a4bf7b03b6e7843a4ade5826b729ff89f08fcd4c383ee0ca2a026d4d87"
}