포시포시
@harukaze5719
English/Korean | I'm not leaker nor tipster, Korean PC Tech Fan l Everything I post is personal opinion.
좋은 질문을 하기 위해, 조금 더 논리적인 생각을 구축하기 위해
523 팔로잉 중 10.9K 팬
수용 안하면 너네들이 뭘 할 수 있지? 🤣🤣🤣
고객들이 엔비디아의 17% 가격 인상을 모두 수용했다는 이야기.
올해에는 Hot Chips에 대한 관심이 정말 뜨거운 것 같다.
덕분에 관련 자료가 거의 실시간으로 업데이트 되고 있네
작년만 해도 관련 발표 내용을 이렇게 인터넷에서 볼려면 한 달이나 두 달 정도의 시차가 있어야 했는데
더 보기
GDDR 넣어서 High-bw인데 clamshell, 24Gbit까지 해서 48GB VRAM 쓸래
LPDDR이라 Low-bw인데, density가 높아서 128GB VRAM 쓸래
후자가 낫지 않을까 그래도...
DGX Spark 대역폭 느리다고 까이지만 237GB/s가 느리다는 건 전적으로 vram과 비교해서 그런 거고, 오히려 통합 메모리로 CPU/GPU와 이 정도 성능, 속도 나와주고 추론 시 전력 130~140+W 나와주는 거면 정말 균형 잡힌 제품이라고 생각하는데, GPU 폭도 분들이 보기 전에, 도망쳐.
더 보기
마치 자유도 높은 오픈월드 게임과 비슷한 느낌
장점: 자유
단점: 자유
로컬 LLM은 완전 미지의 영역임. DGX Spark만 사면 다 되는 게 아니라 사실 거기서부터 시작이고, 프로덕션과 토큰 가격 비교하고 있을 때가 아님. 그래서 진짜 마법까지 로컬에서 돌아가길 원한다면 하면 안된다고 봅니다 ㅜ 근데 미지의 세계라 너무 재미있기는 함.
더 보기
