범용을 버리고 하나를 극한까지, antirez의 로컬 LLM 엔진 ds4

Redis 만든 antirez가
이번엔 로컬 LLM 추론 엔진을 만들었다.
DeepSeek V4 Flash 하나만을 위한 전용 엔진.
4일 만에 GitHub 스타 4,800개.

ds4라는 이름이다.
C 싱글 파일.
Apple Metal GPU에 직결.
DeepSeek V4 Flash는 284B 파라미터 MoE 모델.
활성 파라미터가 적어서 빠르다.
M3 Max 128GB에서 초당 27토큰 생성.
프리필은 250토큰/초. 실제 대화에 쓸 수 있는 속도다.

최소 사양은 128GB 통합 메모리 Mac.
Q4 양자화를 쓰려면 256GB 이상이 필요하다.
하이엔드 장비 전제지만,
이 사양에서 284B 모델이 실사용 가능한 속도로 돌아간다는 게 핵심이다.
2비트 양자화도 "장난이 아니다(not a joke)"라는 건 antirez 본인의 표현.

온디바이스 추론의 진짜 가치는 속도나 비용이 아니다.
데이터가 외부로 안 나간다.
인터넷 없이 돌아간다.
에이전트 루프를 24시간 돌려도 트래픽이 0이다.
이 관점에서 보면 ds4는 정말 의미가 있다.

진짜 흥미로운 건 접근법이다.
llama.cpp 같은 범용 대신 모델 하나에 올인하는 전용 엔진. antirez가 Redis에서 했던 철학과 같다 - 범용을 버리고 하나를 극한까지 최적화.
README에 "GPT 5.5의 강력한 도움으로 만들었다"고 적혀 있다. 바로 뒤에 "llama.cpp와 GGML 없이는 존재하지 못했다"는 문장도 같이.

antirez는 README 말미에 이렇게 적었다:
"We wanted to make one local model feel finished end to end, not just runnable."
돌아가게 만드는 게 아니라 완성되게 만든다.
로컬 추론의 다음 기준이 될 수 있는 문장이다.
프론티어 AI 모델의 구독료가 점점 증가하는 시국에
진지하게 고민해봐야 할 사안이지 않을까 싶다.