Running Model locally - Cursor@Home

see also

• 4-node AMD cluster - runing 512GB Model locally / needs \(\)
  • 4-node Minisforum MS-S1 Max Strix Halo cluster
• tokenspeed / HN

# Models ⮺

• Deepseek V4.1 Flash vs Qwen 3.8 Flash, GLM 5.3 Flash, Gemini 3.8 Flash

see also

• Model benchmarks
• Top Model by task
• The Best Local Agentic Coding Workflow (Complete Guide)
• Your Open Source Model Could Have a Hidden Time-Release Backdoor - demonstrate that harness context can be used to trigger a different answer in controlled condition.

rank	Model	Size	Speed	Comments
	Qwen3.8 27B	15.9Go = 13Go + cont 46k	6t/s	LM Studio 4.24
	Qwen3.6 27B
	Qwen3(?) 14B	15.9Go = 9Go + cont 46k	80t/s
	qwen3-14b-claude-4.5-opus-high-reasoning-distill	9GB	80 tok/sec	LM Studio 4.12
	unsloth/qwen3-coder-30b-a3b-instruct	11GB/12.4GB	55.46 tok/sec - 1019 tokens - 0.03s to first token	LM Studio 3.6
	llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-NVFP4-Experts-Only-GGUF	12.5GB	10 tok/sec - 2898 tokens - 1.16s to first token	LM Studio 4.12
	llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-NVFP4-Experts-Only-GGUF	12.5GB	10 tok/sec - 2898 tokens - 1.16s to first token	LM Studio 4.12

• I gave Qwen 3.8 27B a reverse-engineering job and it finished in 30 minutes
• QWEN 3.6 27B sur 16GB VRAM : La meilleure configuration
  • RTX 5080 and RTX 3090 Setup: 80 Tok/s on Qwen 3.6 27B Q8

Avec un KV Cache en Q4 tu dégrades énormément la qualité. Autant passer sur un 35b a3b avec MoE (même sans MTP) qui sera beaucoup plus rapide et de meilleure qualité, surtout si tu le prends en Q6 voire Q8. Le KV cache c’est toujours Q8 minimum, ou alors turboquant, et encore (turbo4 minimum, pas turbo3).

Je sais pas comment vous faites pour du dev avec 55k de contexte, à moins de faire juste quelques petits scripts par ci par là. Pour moi c’est beaucoup trop peu (je suis développeur depuis plus de 30 ans). C’est minimum 256k pour que le modèle ait une vue d’ensemble de l’architecture du projet, puisse chercher dans la doc, les headers, git, ticketing, logs, etc, bref bosser dans de bonnes conditions. J’utilise Opencode.

Par ailleurs il est indispensable d’activer la persistence du raisonnement (preserve_thinking). Ce n’est pas fait par défaut par llama.cpp (du moins avec les modèles Qwen 3.6) donc le modèle oublie ses propres raisonnements d’un tour à l’autre. Pour tester, il faut lui demander de penser à deux nombres et de donner seulement l’un des deux. Allez voir les deux nombres dans son raisonnement. Ensuite, on lui demande de nous donner l’autre nombre auquel il pensait dans le message précédent, et là il va dire n’importe quoi ! Parce qu’il l’aura oublié ! Du coup, en activant preserve_thinking, on gagne énormément en qualité vu que le modèle n’oublie rien. Mais effectivement ça demande un contexte plus grand. Et même si la qualité de la plupart des modèles locaux se dégrade à partir de 128k, c’est quand même indispensable. Ça vaut vraiment le coup. Qwen 3.6 35b a3b a pu me terminer des projets de tests qu’aucun autre LLM local n’avait pu grâce à ce réglage.

Pour ma part je n’ai que 12 Go sur ma RTX 4070 + i5 12400F et 64 Go DDR5. J’ai Qwen 3.6 35b a3b UD-Q4_K_M, KV cache en Q8, 256k de contexte, 34 moe sur CPU, batch 16384 et ubatch 2048 (ça dépote en pp). En bench je suis à 70 t/s tg. En pratique entre 60 et 35 entre le début et la fin du contexte. J’ai testé 27b mais Q2 obligatoire pour le faire rentrer dans 12 GO de VRAM, donc c’est pourri. Sinon j’ai laissé tomber MTP car d’une part ça demande de la mémoire supplémentaire (donc potentiellement des couches ou KV cache à offloader ==> perte de performance) et de plus j’ai noté une baisse de qualité, même avec un excellent taux d’acceptation.

En espérant avoir apporté quelques informations utiles !

# Qwen 3.8

• Qwen 3.8 27B sur 16 Go de VRAM : il a résolu le bug que DeepSeek V4 Flash a raté

• Qwen3.8 Flash: Over 7x Faster First Token - llama.cpp vs SGLang vs FreeToken. Benchmarked! (96GB)

• Qwen 3.8 27B GSQ RCO tested - 16GB Local LLM setup - from ISTA DAS Lab Austria,
  • Qwen 3.8 27B Quantizations Q1 - Q8 compared
  • Qwen 3.8 27B Reasoning Levels Tested - Not What I Expected
  • Qwen 3.8 27B Cold Fusion tested - 16GB Local LLM setup

# Qwen3.6 ⮺

This release delivers substantial upgrades, particularly in

• Agentic Coding: the model now handles frontend workflows and repository-level reasoning with greater fluency and precision.

• Thinking Preservation: we’ve introduced a new option to retain reasoning context from historical messages, streamlining iterative development and reducing overhead.

see also

• Qwen 3.6 Locally: Can I use it for my daily tasks?
  • 27B - better on coding task (but dense)
  • 35B - faster
  • Prompt Vault - a curated collection of structured coding prompts and challenges designed for testing Large Language Models (LLMs)

# Qwen3.5 ⮺

Qwen3.5 is Alibaba’s new model family, including Qwen3.5-35B-A3B, 27B, 122B-A10B and 397B-A17B and the new Small series: Qwen3.5-0.8B, 2B, 4B and 9B. The multimodal hybrid reasoning LLMs deliver the strongest performances for their sizes. They support 256K context across 201 languages, have thinking + non-thinking, and excel in agentic coding, vision, chat, and long-context tasks. The 35B and 27B models work on a 22GB Mac / RAM device.

See all GGUFs here.

• How to run Qwen 3.5 locally

# Qwen3

# qwen3-14b-claude-4.5-opus-high-reasoning-distill

# Qwen3-Coder-30B-A3B-Instruct-GGUF

This is the standard instruction-tuned code model.
Typical strengths:

• generating code from prompts
• explaining code
• quick coding tasks
• IDE autocomplete / chat coding

It’s also easier to run locally because the total model size is smaller (30B).

• use Qwen3 Coder 30B A3B Instruct. This model delivers strong coding performance and reliable tool use.
  • Which local models actually work with Cline? AMD tested them all

RTX 5070 Ti

• Running 3.5 9B on my ASUS 5070ti 16G with lm studio

# Qwen3-Coder-Next ⮺

Much larger model: ~80B parameters total / ~3B active per token

• very sparse Mixture-of-Experts
• optimized for fast repeated calls in agent loops

Designed for coding agents that run loops:

• read repo
• plan changes
• edit files
• run tests
• debug
• repeat

It was trained with environment interaction and executable coding tasks, so it learns from test results and feedback loops.
Typical strengths:

• repo-scale refactors
• debugging from logs
• multi-step tool use
• IDE agents (Cline, Claude Code, etc.)

# Quantisation

# Q4_K_M ⮺

Q4_K_M is a compressed 4-bit version of an AI model that balances small size with good accuracy.

Q4 - means each model weight uses 4 bits instead of 16 bits, reducing memory usage by about 4×.

• smaller files
• faster inference
• lower RAM/VRAM requirements

K stands for K-block quantisation, an improved quantisation method used in GGML/GGUF models.
Instead of compressing each weight independently, it compresses blocks of weights together, which:

• preserves more information
• improves accuracy compared to older Q4 formats

M a variant of the quantisation scheme (S (small) / M (Medium) / L (Large) precision)

# GSQ-RCO

A particular quantization method/format intended to preserve quality at very low bit rates

# Model Parameters

# A3B ⮺

Some newer models use a Mixture-of-Experts (MoE) architecture.
A3B → Active 3B parameters during inference.

Instead of using all parameters every time, the model:

• Contains a large total parameter count (e.g., 35B).
• Activates only a subset of them per token using a router that selects a few “experts.”

Example

Model name	Total parameters	Active parameters
Qwen3.5-35B-A3B	35B	~3B active
ERNIE-4.5-21B-A3B	21B	~3B active

# -mtp

-mtp build (about 0.35 GB larger) that carries the model’s Multi-Token Prediction head for speculative decoding in llama.cpp. The weights are otherwise identical, so quality is unchanged.

you’re adding machinery that can make decoding faster.

And the MTP speedup only happens when your inference engine actually supports/activates MTP. This repo specifically targets llama.cpp’s draft-mtp speculative decoding.

# instruct ⮺

This refers to a model that is specifically trained or fine-tuned to follow instructions from users in a helpful, safe, and coherent way.

# DFlash ⮺

DFlash is a novel speculative decoding method that utilizes a lightweight block diffusion model for drafting. It enables efficient, high-quality parallel drafting that pushes the limits of inference speed.

# GGUF

• What’s in a GGUF, besides the weights - and what’s still missing? / HN