Feng's Blog

RSS: https://fengwang.github.io/index.xml

Feng 的个人技术博客。

在消费级 Blackwell GPU 上优化 FlashAttention：从 3.23% 到 94.6% Roofline

RTX 5090 上跑 FlashAttention 前向传播，两周 profiling 迭代从 3.23% 提升到 94.6% roofline。FA3/FA4 依赖的 wgmma 和 tcgen05 指令在消费级 sm_120 上不存在，只能用 mma.sync 和 ldmatrix。前 60% 提升来自修复硬件空闲，中间 30% 来自减少指令和隐藏延迟，最后阶段需要校准测量工具本身。

收藏4 天前

Qwen3-TTS on AMD Radeon 780M (gfx1103): A Docker + ROCm Deployment Autopsy

Qwen3-TTS on AMD Radeon 780M (gfx1103): A Docker + ROCm Deployment Autopsy Abstract. This document is a complete post-mortem of deploying the Qwen3-TTS-Openai-Fastapi service (OpenAI-compatible TTS AP...

收藏13 天前

Qwen3-TTS 在 AMD Radeon 780M 上的 Docker + ROCm 部署排障记录

Qwen3-TTS 在 AMD Radeon 780M 上的 Docker + ROCm 部署排障记录背景：在 780M 上跑 TTS 的目标与约束 2026 年 8 月初，我要在本地部署一个自托管的 TTS 服务，选型是 Qwen3-TTS-Openai-Fastapi（OpenAI 兼容接口）加 Qwen3-TTS-12Hz-1.7B-CustomVoice 模型，默认音色 Vivian。...

收藏13 天前

AI 如何思考：从数学推理漫游中读出的认知画像

引言：一个模型在解释另一个模型的想法我花了一个晚上读 OpenAI 发布的数学推理漫游系列（“How the Ideas Came Together”），十二个章节，覆盖非 sofic 群构造、Connes 刚性反例、量子并行重复定理、多重色 Ramsey 数、Erdős–Simonovits 紧致性反例等十个数学问题领域。每一章不是论文复述，而是把"想法是怎么拼出来的"讲成一个故事：哪些想法先...

收藏14 天前

从操控性互动到循证发展：短视频的神经科学与机制重定向框架

文章指出短视频的成瘾性并非单纯的道德问题，而是多巴胺预测误差、变比率强化和算法个性化三大机制共同作用的结果。重点分析了“想要”与“喜欢”的神经分离，以及算法如何通过降低前额叶皮层耦合来削弱用户的批判性评估能力。作者提出将奖励目标从“下一个视频”转向“下一个能力信号”，从而将这些机制重新导向学习和习惯养成。

收藏33 天前

从提示员到系统架构师：Loop Engineering 的范式跃迁

收藏49 天前

寻找复数网络的并行扫描 —— 从 Mamba 的训练哲学到复数序列模型的高效训练

收藏63 天前

Two ways to diffuse text: DFlash block diffusion vs DiffusionGemma

Why this exists I’ve spent the whole day reading papers at the intersection of diffusion models and text generation, and two names kept surfacing in different contexts: DFlash and DiffusionGemma. Both...

收藏67 天前

Pruning Qwen3.6-35B-A3B for RTX 5090: what I learned pushing MoE compression to its limit on a single GPU

Why this exists I had a 35B-parameter MoE model that needed to run on a single RTX 5090. The model in FP8 needed 34.4 GiB. The GPU had 31.84 GiB. The gap was 2.6 GiB — small enough to feel tantalizing...

收藏90 天前

Qwen3.6-35B-A3B 剪枝实战：在单卡 RTX 5090 上把 MoE 压缩到极限的七轮实验

收藏90 天前

MoE Expert Pruning: What Works, What Doesn't, and What We Still Don't Know

I spent the last week reading seven papers on expert compression for Mixture-of-Experts models. I went in assuming the landscape was settled: expert pruning was a useful technique for shrinking models...

收藏97 天前

LLM/VLM Compression Foundations

I started looking at model compression because the numbers didn’t add up. My GPU has 24GB of VRAM and the models I want to run need 40GB. The gap is a factor of two, which quantization claims to solve...

收藏98 天前