MLA(Multi-head Latent Attention): DeepSeek-V2 논문정리
논문: DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model DeepSeek-V2 논문 중 MLA(Multi-head Latent Attention) 부분만 정리한 글입니다. 앞선 ...
최근 포스트
DSA(DeepSeek Sparse Attention): DeepSeek-V3.2-Exp 논문정리
논문: DeepSeek-V3.2-Exp: Boosting Long-Context Efficiency with DeepSeek Sparse Attention DSA는 MLA 위에 얹어서 구현되므로, MLA를 먼저 보고 오면 이해가 빠릅니다. 논문의 수식은 직접 구현한 PyTor...
MQA & GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints 논문정리
논문: GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints MQA(Multi-Query Attention)와 GQA(Grouped-Query Attention)를 함께 정리한 ...
GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models 논문정리
논문: GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models 세미나 발표 자료를 정리한 글입니다. 논문의 핵심인 학습 파이프라인(Pre-training → Mid-training → Post-training → RL...
파이썬 코드로 웹과 똑같은 클로드 무료로 사용하기
requests 모듈을 이용한 Claude 무료 사용법