블로그 목록

antirez가 만든 로컬 LLM 전용 엔진, 4일 만에 스타 4,800개

Threads 원문 보기 (2개 연결 스레드)

Redis 만든 antirez가
이번엔 로컬 LLM 추론 엔진을 만들었다.
DeepSeek V4 Flash 하나만을 위한 전용 엔진.
4일 만에 GitHub 스타 4,800개.

ds4라는 이름이다.
C 싱글 파일.
Apple Metal GPU에 직결.
DeepSeek V4 Flash는 284B 파라미터 MoE 모델.
활성 파라미터가 적어서 빠르다.
M3 Max 128GB에서 초당 27토큰 생성.
프리필은 250토큰/초.
실제 대화에 쓸 수 있는 속도다.