AI 知识库
把 ARIS 的 AI 面试与研究知识点整合成可搜索、可分组、可中英切换的阅读台。适合从一个主题顺着学，也适合面试前快速横跳。
Attention 面试 Cheat Sheet
从 scaled dot-product 到 MHA、mask、复杂度、数值稳定性和 PyTorch 实现。
归一化 / 残差 / 初始化
BatchNorm、LayerNorm、RMSNorm、Pre/Post-LN、DeepNorm、初始化与残差缩放。
优化器 & LR Schedule
SGD、Momentum、Adam、AdamW、Muon/Lion/Shampoo，以及 warmup、cosine、WSD。
KL Divergence in RLHF
KL 估计、k1/k2/k3、placement bias，以及 RLHF 中 KL 惩罚的实现细节。
RLHF / DPO / GRPO / PPO
从偏好数据到 policy optimization，比较 DPO、PPO、GRPO 的目标与工程取舍。
Reasoning Models
o1/R1、test-time compute、PRM、verifiable reward 与推理模型训练范式。
LLM On-Policy Distillation
MiniLLM、GKD、Qwen3、Tinker 等 on-policy distillation 机制和训练信号。
LoRA / PEFT
LoRA、QLoRA、DoRA、rsLoRA、PiSSA、AdaLoRA、Adapter 与 Prompt tuning。
MoE (Mixture-of-Experts)
Router、expert load balance、capacity、DeepSeek-V3、Mixtral、Llama 4 等架构要点。
Long Context: RoPE / YaRN / NTK / MLA
位置编码外推、RoPE scaling、YaRN、NTK、MLA、sliding window 与长上下文成本。
线性 / 稀疏注意力
线性注意力、SSM/Mamba、Mamba-2/SSD、DeltaNet、NSA、MoBA 与混合架构。
KV Cache + Speculative Decoding
KV cache 显存、GQA/MLA、Medusa、EAGLE、speculative decoding 与推理吞吐。
Quantization
GPTQ、AWQ、FP8、NVFP4、SmoothQuant 与部署中的精度/速度权衡。
Distributed Training
DDP、FSDP2、ZeRO、TP、PP、SP、CP、EP 等大模型训练并行策略。
Flow Matching Quick Reference
Conditional Flow Matching、Rectified Flow、VP/VE、训练目标与采样 ODE。
Diffusion Foundations
DDPM、score matching、DDIM、EDM、CFG、consistency models 与从零代码。
VAE / VQ-VAE / VQ-GAN / FSQ
连续/离散 latent、codebook、commitment loss、GAN 感知损失与 tokenizer 设计。
Image Generation Systems
LDM、Stable Diffusion、SDXL、SD3、FLUX、ControlNet 与图像生成系统工程。
Video Generation
Sora、Hunyuan-Video、Kling、Wan、Movie Gen 与视频生成训练/推理机制。
3D Generation
NeRF、Instant-NGP、3DGS、SDS、DreamFusion、Trellis 与 3D 生成面试题。
Diffusion Post-Training
DDPO、DPOK、DRaFT、AlignProp、Diffusion-DPO、Flow-GRPO 等生成后训练。
Diffusion / Flow Distillation
Consistency Models、iCT、sCM、CTM、LCM、DMD/DMD2、ADD/LADD 与加速采样。
VLM / Multimodal
CLIP、LLaVA、Qwen-VL、DeepSeek-VL、视觉编码器、投影器和多模态训练。
Agent Foundations
ReAct、tool use、MCP、A2A、SWE-bench、GAIA、OSWorld 与 agent 架构基础。
Agentic RL
AgentTuning、ToolRL、RAGEN、WebRL、SWE-RL、tool-use GRPO 与轨迹奖励。
Multi-Agent & Long-Horizon
CAMEL、AutoGen、MetaGPT、MoA、Debate、MemGPT、LATS 与长程任务规划。
Self-Evolving Agents
Ctx2Skill、Native Evolution、A2RD、Voyager、Reflexion、STaR 等自进化机制。
RAG + 文本嵌入 / 检索
InfoNCE、hard negatives、BM25、HNSW、RRF、ColBERT、HyDE、GraphRAG 与 RAGAS。