<div id="readability-page-1" class="page"><div id="post-body-7688375230364811168" itemprop="articleBody">
최근 Diffusion 모델은 이미지 생성을 넘어 텍스트 생성 분야에서도 주목받고 있다. 특히 구글의 Gemini Diffusion, Inception Labs의 Mercury 등은 초당 1,000 토큰 이상을 생성하는 압도적인 속도를 보여주며 비-오토 리그레시브(Non-Autoregressive, NAR) 모델의 가능성을 증명했다. NVIDIA에서 발표한 Fast-dLLM은 기존 Diffusion LLM의 추론 속도를 훈련 없이 가속하는 방법에 대한 논문이다. 이 논문은 Key-Value Cache와 병렬 디코딩(Parallel Decoding) 전략을 통해 성능 향상을 이끌어냈다.<div><a href="https://blogger.googleusercontent.com/img/a/AVvXsEiDItyxaYl_ck-IdNS0JHmmlLkSWLN0bBo8jhN3aG_yfiicugcfWVzlwgAWgplLxzdCRhFYM_R5ttCzyGC3eq63WrwJt4v891pLT_RONFLZlbWS7Sx38n-YTzATBXm0VyWc06trGHh0nPlU7FAXZJiNishKCucWpGyKC2CLpgGLOheK1-u0ByiuoJ7rwSzN"><img alt="" data-original-height="696" data-original-width="1225" height="159" src="https://blogger.googleusercontent.com/img/a/AVvXsEiDItyxaYl_ck-IdNS0JHmmlLkSWLN0bBo8jhN3aG_yfiicugcfWVzlwgAWgplLxzdCRhFYM_R5ttCzyGC3eq63WrwJt4v891pLT_RONFLZlbWS7Sx38n-YTzATBXm0VyWc06trGHh0nPlU7FAXZJiNishKCucWpGyKC2CLpgGLOheK1-u0ByiuoJ7rwSzN=w526-h300" width="280"></a></div>Fast dLLM 성능 비교 모습AR과 NAR: 근본적인 차이점 기존 트랜스포머에 Fast-dLLM의 개념을 적용하기 전, 두 모델의 근본적인 차이를 이해해야 한다.오토-리그레시브 (AR) 트랜스포머: 이전 타임스텝의 출력이 다음 타임스텝의 입력이 되는 순차적 방식이다. 문장을 생성할 때, 이전에 생성된 단어들을 바탕으로 다음 단어 하나를 예측한다. 디코더의 Self-Attention에 Causal Mask를 적용하여 미래의 토큰을 참조하지 못하도록 막는 것이 핵심이다.비-오토 리그레시브 (NAR) / Diffusion LLM: 문장의 여러 토큰, 혹은 전체 토큰을 동시에 생성하는 방식이다4444. Fast-dLLM이 기반하는 Masked Diffusion Model (MDM)은 [MASK] 토큰으로 가득 찬 시퀀스에서 시작하여, 여러 번의 정제(refinement) 단계를 거쳐 전체 문장을 완성한다5. 이 과정에서 디코더는 문장 전체의 맥락을 파악해야 하므로 양방향(Bidirectional) 어텐션을 사용한다.이처럼 두 모델은 디코더의 동작 방식이 근본적으로 다르므로, 논문의 아키텍처를 그대로 이식하는 대신 학습 및 추론 과정을 시뮬레이션하는 방식으로 접근해야 한다.Diffusion의 학습법: Masked Language Modeling Diffusion 모델의 학습 목표는 노이즈가 낀 데이터에서 원본 데이터를 복원하는, 이른바 "Denoising" 과정이다. 텍스트 분야에서는 이 노이즈를 [MASK] 토큰으로 대체하여 구현한다. 이는 BERT의 MASK 방식 학습 아이디어와 유사해 보인다.<a href="https://blogger.googleusercontent.com/img/a/AVvXsEilz9AmKTU31oBRKIzLD6F07MWMMHGu2_I-G02keONGGOZbrjEZX_his6o7xFOK2sLmsH_e-uZoOsdEgU_qZ0qq79E91x2eQ4zSrTPncpOsvKy-ai5WnuJh16Go7xWeLKINX1JkcPeb54Oz-1PkaaogfkIhIefjjLdTqfKJq3xGRJ-xbjNiRxJ4wD-r1eGN"><img alt="" data-original-height="112" data-original-width="949" height="33" src="https://blogger.googleusercontent.com/img/a/AVvXsEilz9AmKTU31oBRKIzLD6F07MWMMHGu2_I-G02keONGGOZbrjEZX_his6o7xFOK2sLmsH_e-uZoOsdEgU_qZ0qq79E91x2eQ4zSrTPncpOsvKy-ai5WnuJh16Go7xWeLKINX1JkcPeb54Oz-1PkaaogfkIhIefjjLdTqfKJq3xGRJ-xbjNiRxJ4wD-r1eGN=w400-h48" width="280"></a> 기존 AR 트랜스포머가 이 Denoising 능력을 학습하도록 데이터셋을 수정해야 한다. 타겟 문장의 일부를 랜덤하게 [MASK] 토큰으로 교체하고, 모델이 이 마스킹된 문장을 입력받아 원본 문장 전체를 예측하도록 학습 목표를 설정하는 것이다.&nbsp;주요 구현을 의사코드로 확인해 보겠다. class MaskedSeq2SeqDataset(Dataset): &nbsp; &nbsp; def __init__(self, pairs: List[Tuple[str, str]], src_tok: Tokenizer, tgt_tok: Tokenizer, max_len: int = 40): &nbsp; &nbsp; &nbsp; &nbsp; self.pairs = pairs &nbsp; &nbsp; &nbsp; &nbsp; self.src_tok, self.tgt_tok = src_tok, tgt_tok &nbsp; &nbsp; &nbsp; &nbsp; self.max_len = max_len &nbsp; &nbsp; def __getitem__(self, idx): &nbsp; &nbsp; &nbsp; &nbsp; src_txt, tgt_txt = self.pairs[idx] &nbsp; &nbsp; &nbsp; &nbsp; src_ids = self.src_tok.encode(src_txt, add_eos=True)[:self.max_len] &nbsp; &nbsp; &nbsp; &nbsp; tgt_ids = self.tgt_tok.encode(tgt_txt, add_sos=True, add_eos=True)[:self.max_len] &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; # 코사인 스케줄에 따라 마스킹할 개수 결정 (개념적인 시간 t에 해당) &nbsp; &nbsp; &nbsp; &nbsp; t_rand = random.random() &nbsp; &nbsp; &nbsp; &nbsp; num_to_mask = math.ceil(len(tgt_ids) * math.cos(t_rand * math.pi / 2)) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; masked_tgt_ids = list(tgt_ids) &nbsp; &nbsp; &nbsp; &nbsp; maskable_indices = [i for i, t_id in enumerate(tgt_ids) if t_id not in (self.tgt_tok.sos_id, self.tgt_tok.eos_id)] &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; if len(maskable_indices) &gt; 0 and num_to_mask &gt; 0: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; indices_to_mask = random.sample(maskable_indices, min(num_to_mask, len(maskable_indices))) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; for i in indices_to_mask: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; masked_tgt_ids[i] = self.tgt_tok.mask_id &nbsp; &nbsp; &nbsp; &nbsp; return (torch.tensor(src_ids, dtype=torch.long), &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; torch.tensor(masked_tgt_ids, dtype=torch.long), &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; torch.tensor(tgt_ids, dtype=torch.long)) 논문은 여러 토큰을 동시에 예측할 때 발생하는 품질 저하의 원인을 조건부 독립 가정(conditional independence assumption)으로 지적한다. 즉, 모델이 각 토큰의 확률을 독립적으로 계산하여 샘플링하기 때문에 "high card"나 "full house" 대신 "high house"와 같은 부자연스러운 조합이 생성될 수 있다는 것이다.이에 대한 해결책으로 Confidence-Aware Parallel Decoding 전략을 제안한다. 이 전략은 모델이 예측한 확률 값, 즉 '자신감(confidence)'이 특정 임계값(threshold)을 넘는 토큰들만 선택적으로 예측하고, 나머지는 다음 스텝에서 다시 예측하도록 남겨두는 방식이다.또한 추론 과정을 여러 블록(block)으로 나누어 점진적으로 생성하는 Block-wise Generation 방식을 채택했다.&nbsp;<a href="https://blogger.googleusercontent.com/img/a/AVvXsEh0GGzJtZgxJ54ET7rOxWDngG_JE4-o6Wta0jiwJakwctAyjVSh1d9o9r9pnZozM_fR9A__BIiIUg5J1U78T2Zusvule_rf4dIP7-1N3-yoNcTazeppgLqjfskVJCyMWldp4XTqEOOpiawxP065UEzKI0Vj9TBNLIs0se89LgkG9biekj7VD72-N3Q-9vK2"><img alt="" data-original-height="517" data-original-width="1507" height="96" src="https://blogger.googleusercontent.com/img/a/AVvXsEh0GGzJtZgxJ54ET7rOxWDngG_JE4-o6Wta0jiwJakwctAyjVSh1d9o9r9pnZozM_fR9A__BIiIUg5J1U78T2Zusvule_rf4dIP7-1N3-yoNcTazeppgLqjfskVJCyMWldp4XTqEOOpiawxP065UEzKI0Vj9TBNLIs0se89LgkG9biekj7VD72-N3Q-9vK2=w540-h186" width="280"></a>이를 논문에서는 다음과 같은 알고리즘으로 기술했다.&nbsp;<a href="https://blogger.googleusercontent.com/img/a/AVvXsEjKuZJfqtzfjfie6yB6zSC1zPD1OM2IAwNV0nXR6golkyUpU2ozBcLW7sEME3StYGUbAHUMphQ6KUdG2VHT9GhsPmfiZqqAGC2LQVv9xbl9tmSB4L6XEuXevUhkYKIN1Of3W-2UXOZZfjrknjwD-tnnkQc9ekOLtO2RTAwxrWsoDafIAeOfJUMjvxupNZ1I"><img alt="" data-original-height="946" data-original-width="1527" height="173" src="https://blogger.googleusercontent.com/img/a/AVvXsEjKuZJfqtzfjfie6yB6zSC1zPD1OM2IAwNV0nXR6golkyUpU2ozBcLW7sEME3StYGUbAHUMphQ6KUdG2VHT9GhsPmfiZqqAGC2LQVv9xbl9tmSB4L6XEuXevUhkYKIN1Of3W-2UXOZZfjrknjwD-tnnkQc9ekOLtO2RTAwxrWsoDafIAeOfJUMjvxupNZ1I=w564-h349" width="280"></a>이런 논문의 아이디어를 종합하여 구현한 추론 함수는 다음과 같다. @torch.no_grad() def fast_dllm_decode( &nbsp; &nbsp; model: NARTransformer, &nbsp; &nbsp; src_tensor: torch.Tensor, &nbsp; &nbsp; src_text: str, &nbsp; &nbsp; tgt_tok: Tokenizer, &nbsp; &nbsp; max_len: int, &nbsp; &nbsp; num_blocks: int = 2, &nbsp; &nbsp; steps_per_block: int = 12, &nbsp; &nbsp; confidence_threshold: float = 0.9, &nbsp; &nbsp; visualize: bool = False, ): &nbsp; &nbsp; # ... (초기화 및 시각화 헬퍼 함수 생략) ... &nbsp; &nbsp; # 블록 단위로 외부 루프를 순회한다. &nbsp; &nbsp; for k in range(num_blocks): &nbsp; &nbsp; &nbsp; &nbsp; start_idx = 1 + k * block_size &nbsp; &nbsp; &nbsp; &nbsp; end_idx = min(start_idx + block_size, max_len) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; # 아래 루프가 논문의 개념적인 '시간 t'의 흐름을 나타낸다. &nbsp; &nbsp; &nbsp; &nbsp; # 블록 내에서 여러 스텝에 걸쳐 점진적으로 MASK를 채운다. &nbsp; &nbsp; &nbsp; &nbsp; for t in range(steps_per_block): &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; step_count += 1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; # 1. 모델을 통해 모든 위치의 토큰 확률을 예측한다. &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; logits = model.decode_step(ys, memory, tgt_pad_mask) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; probs = F.softmax(logits, dim=-1) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; confidences, predictions = probs.max(dim=-1) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; # 현재 블록 내의 MASK 위치만 unmask 후보로 고려한다. &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; mask_positions = (ys == tgt_tok.mask_id) &amp; current_block_mask &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; if not mask_positions.any(): break &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; # 2. Confidence가 임계값을 넘는 위치만 선택한다. &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; unmask_candidates = (confidences &gt; confidence_threshold) &amp; mask_positions &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; # 3. 만약 임계값을 넘는 토큰이 없다면, 가장 자신있는 토큰 하나만 선택하여 진행을 보장. &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; if not unmask_candidates.any(): &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; masked_confidences = confidences.where(mask_positions, torch.tensor(-1.0, device=device)) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; if masked_confidences.max() &gt; -1: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; highest_idx = masked_confidences.argmax(dim=1, keepdim=True) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; unmask_candidates.scatter_(1, highest_idx, 1) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; if visualize: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; _visual_print(...) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; # 4. 선택된 위치의 MASK 토큰을 예측된 토큰으로 교체한다. &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ys.masked_scatter_(unmask_candidates, predictions[unmask_candidates]) &nbsp; &nbsp; # ... (최종 결과 반환) ... 마무리 이 글에서는 표준 AR 트랜스포머 아키텍처를 수정 없이 활용하면서, 학습 데이터 파이프라인과 추론 로직을 변경하여 Fast-dLLM 논문의 핵심 아이디어를 구현하는 방법을 살펴보았다.레퍼런스<div><ul><li><a href="https://arxiv.org/abs/2505.22618">Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding</a></li><li><a href="https://github.com/NVlabs/Fast-dLLM/tree/main">NVlabs/Fast-dLLM: Official implementation of "Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding"</a></li></ul></div>

</div></div>

Daddy Makers

최근 Diffusion 모델은 이미지 생성을 넘어 텍스트 생성 분야에서도 주목받고 있다. 특히 구글의 Gemini Diffusion, Inception Labs의 Mercury 등은 초당 1,000 토큰 이상을 생성하는 압도적인 속도를 보여주며 비-오토 리그레시브(Non-Autoregressive, NAR) 모델의 가능성을 증명했다.
NVIDIA에서 발표한 Fast-dLLM은 기존 Diffusion LLM의 추론 속도를 훈련 없이 가속하는 방법에 대한 논문이다. 이 논문은 Key-Value Cache와 병렬 디코딩(Parallel Decoding) 전략을 통해 성능 향상을 이끌어냈다.
Fast dLLM 성능 비교 모습
AR과 NAR: 근본적인 차이점
기존 트랜스포머에 Fast-dLLM의 개념을 적용하기 전, 두 모델의 근본적인 차이를 이해해야 한다.
오토-리그레시브 (AR) 트랜스포머: 이전 타임스텝의 출력이 다음 타임스텝의 입력이 되는 순차적 방식이다. 문장을 생성할 때, 이전에 생성된 단어들을 바탕으로 다음 단어 하나를 예측한다. 디코더의 Self-Attention에 Causal Mask를 적용하여 미래의 토큰을 참조하지 못하도록 막는 것이 핵심이다.
비-오토 리그레시브 (NAR) / Diffusion LLM: 문장의 여러 토큰, 혹은 전체 토큰을 동시에 생성하는 방식이다4444. Fast-dLLM이 기반하는 Masked Diffusion Model (MDM)은 [MASK] 토큰으로 가득 찬 시퀀스에서 시작하여, 여러 번의 정제(refinement) 단계를 거쳐 전체 문장을 완성한다5. 이 과정에서 디코더는 문장 전체의 맥락을 파악해야 하므로 양방향(Bidirectional) 어텐션을 사용한다.
이처럼 두 모델은 디코더의 동작 방식이 근본적으로 다르므로, 논문의 아키텍처를 그대로 이식하는 대신 학습 및 추론 과정을 시뮬레이션하는 방식으로 접근해야 한다.
Diffusion의 학습법: Masked Language Modeling
Diffusion 모델의 학습 목표는 노이즈가 낀 데이터에서 원본 데이터를 복원하는, 이른바 "Denoising" 과정이다. 텍스트 분야에서는 이 노이즈를 [MASK] 토큰으로 대체하여 구현한다. 이는 BERT의 MASK 방식 학습 아이디어와 유사해 보인다.
기존 AR 트랜스포머가 이 Denoising 능력을 학습하도록 데이터셋을 수정해야 한다. 타겟 문장의 일부를 랜덤하게 [MASK] 토큰으로 교체하고, 모델이 이 마스킹된 문장을 입력받아 원본 문장 전체를 예측하도록 학습 목표를 설정하는 것이다. 주요 구현을 의사코드로 확인해 보겠다.
class MaskedSeq2SeqDataset(Dataset):
    def __init__(self, pairs: List[Tuple[str, str]], src_tok: Tokenizer, tgt_tok: Tokenizer, max_len: int = 40):
        self.pairs = pairs
        self.src_tok, self.tgt_tok = src_tok, tgt_tok
        self.max_len = max_len
    def __getitem__(self, idx):
        src_txt, tgt_txt = self.pairs[idx]
        src_ids = self.src_tok.encode(src_txt, add_eos=True)[:self.max_len]
        tgt_ids = self.tgt_tok.encode(tgt_txt, add_sos=True, add_eos=True)[:self.max_len]
        
        # 코사인 스케줄에 따라 마스킹할 개수 결정 (개념적인 시간 t에 해당)
        t_rand = random.random()
        num_to_mask = math.ceil(len(tgt_ids) * math.cos(t_rand * math.pi / 2))
        
        masked_tgt_ids = list(tgt_ids)
        maskable_indices = [i for i, t_id in enumerate(tgt_ids) if t_id not in (self.tgt_tok.sos_id, self.tgt_tok.eos_id)]
        
        if len(maskable_indices) > 0 and num_to_mask > 0:
            indices_to_mask = random.sample(maskable_indices, min(num_to_mask, len(maskable_indices)))
            for i in indices_to_mask:
                masked_tgt_ids[i] = self.tgt_tok.mask_id
        return (torch.tensor(src_ids, dtype=torch.long),
                torch.tensor(masked_tgt_ids, dtype=torch.long),
                torch.tensor(tgt_ids, dtype=torch.long))
논문은 여러 토큰을 동시에 예측할 때 발생하는 품질 저하의 원인을 조건부 독립 가정(conditional independence assumption)으로 지적한다. 즉, 모델이 각 토큰의 확률을 독립적으로 계산하여 샘플링하기 때문에 "high card"나 "full house" 대신 "high house"와 같은 부자연스러운 조합이 생성될 수 있다는 것이다.
이에 대한 해결책으로 Confidence-Aware Parallel Decoding 전략을 제안한다. 이 전략은 모델이 예측한 확률 값, 즉 '자신감(confidence)'이 특정 임계값(threshold)을 넘는 토큰들만 선택적으로 예측하고, 나머지는 다음 스텝에서 다시 예측하도록 남겨두는 방식이다.
또한 추론 과정을 여러 블록(block)으로 나누어 점진적으로 생성하는 Block-wise Generation 방식을 채택했다. 
이를 논문에서는 다음과 같은 알고리즘으로 기술했다. 
이런 논문의 아이디어를 종합하여 구현한 추론 함수는 다음과 같다.
@torch.no_grad()
def fast_dllm_decode(
    model: NARTransformer,
    src_tensor: torch.Tensor,
    src_text: str,
    tgt_tok: Tokenizer,
    max_len: int,
    num_blocks: int = 2,
    steps_per_block: int = 12,
    confidence_threshold: float = 0.9,
    visualize: bool = False,
):
    # ... (초기화 및 시각화 헬퍼 함수 생략) ...
    # 블록 단위로 외부 루프를 순회한다.
    for k in range(num_blocks):
        start_idx = 1 + k * block_size
        end_idx = min(start_idx + block_size, max_len)
        
        # 아래 루프가 논문의 개념적인 '시간 t'의 흐름을 나타낸다.
        # 블록 내에서 여러 스텝에 걸쳐 점진적으로 MASK를 채운다.
        for t in range(steps_per_block):
            step_count += 1
            
            # 1. 모델을 통해 모든 위치의 토큰 확률을 예측한다.
            logits = model.decode_step(ys, memory, tgt_pad_mask)
            probs = F.softmax(logits, dim=-1)
            confidences, predictions = probs.max(dim=-1)
            
            # 현재 블록 내의 MASK 위치만 unmask 후보로 고려한다.
            mask_positions = (ys == tgt_tok.mask_id) & current_block_mask
            
            if not mask_positions.any(): break
            
            # 2. Confidence가 임계값을 넘는 위치만 선택한다.
            unmask_candidates = (confidences > confidence_threshold) & mask_positions
            
            # 3. 만약 임계값을 넘는 토큰이 없다면, 가장 자신있는 토큰 하나만 선택하여 진행을 보장.
            if not unmask_candidates.any():
                masked_confidences = confidences.where(mask_positions, torch.tensor(-1.0, device=device))
                if masked_confidences.max() > -1:
                    highest_idx = masked_confidences.argmax(dim=1, keepdim=True)
                    unmask_candidates.scatter_(1, highest_idx, 1)
            if visualize:
                _visual_print(...)
            # 4. 선택된 위치의 MASK 토큰을 예측된 토큰으로 교체한다.
            ys.masked_scatter_(unmask_candidates, predictions[unmask_candidates])
    # ... (최종 결과 반환) ...
마무리
이 글에서는 표준 AR 트랜스포머 아키텍처를 수정 없이 활용하면서, 학습 데이터 파이프라인과 추론 로직을 변경하여 Fast-dLLM 논문의 핵심 아이디어를 구현하는 방법을 살펴보았다.
레퍼런스
Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding
NVlabs/Fast-dLLM: Official implementation of "Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding"

Fast diffusion LLM 분석 및 주요 동작 메커니즘 확인

댓글