Daegwon Nacyot Kim
@nacyotKim
한국어, English, 冷めたコーヒー. Claude Code Max, OpenAI Pro, M3 Ultra 512GB, Asus GX10 x 4. Aspiring value investor. @fortyfourbits. A software engineer at Karrot.
564 팔로잉 중 5K 팬
DGX Spark 대역폭 느리다고 까이지만 237GB/s가 느리다는 건 전적으로 vram과 비교해서 그런 거고, 오히려 통합 메모리로 CPU/GPU와 이 정도 성능, 속도 나와주고 추론 시 전력 130~140+W 나와주는 거면 정말 균형 잡힌 제품이라고 생각하는데, GPU 폭도 분들이 보기 전에, 도망쳐.
더 보기
로컬 LLM은 완전 미지의 영역임. DGX Spark만 사면 다 되는 게 아니라 사실 거기서부터 시작이고, 프로덕션과 토큰 가격 비교하고 있을 때가 아님. 그래서 진짜 마법까지 로컬에서 돌아가길 원한다면 하면 안된다고 봅니다 ㅜ 근데 미지의 세계라 너무 재미있기는 함.
더 보기
