128GB超メモリMac専用の巨大LLMエンジン「ds4」はローカル推論の常識をどう書き換えるのか。
284BのDeepSeek V4 FlashをM4 Max 128GB MacBook Proの自作AIに組み込んでみた（CloseBox）キャシャーンがやらねば誰がやる的に、自分にターゲティングされたソフトが公開されてしまいました。
Redisの作者であるSalvatore Sanfilippo（antirez）が、5月初旬にGitHubへひっそりと新しいリポジトリを公開しました。名前は『ds4』。DeepSeek V4 Flash専用のローカル推論エンジンです。
これの動作条件が「128GB以上のメモリを積んだApple Silicon Mac」なのですよ。これはやらねばの娘でしょう。
C言語で書かれた小さなコードベース、Metal専用、依存ライブラリも極小。READMEを読み始めて10秒で気づくのは、これは「もうひとつのllama.cpp」ではないという宣言で始まっている、ということです。
This project takes a deliberately narrow bet: one model at a time, official-vector validation, long-context tests, and enough agent integration to know if it really works.
― README より
汎用GGUFローダーではない、ラッパーでもない、フレームワークでもない。DeepSeek V4 Flash というたった1つのモデルを、推論エンジン・GGUFファイル・エージェント連携の3つすべてで「end-to-end で完成形に近づける」。これがds4の出発点です。
映像系はローカルの方がコスパ高い
言語系はクラウドの方がコスパ高い
ハイブリッドがおすすめ
何が目的なんや
オープンソースのLLMは無規制版も出回ってる
ローカルをなんだと思ってるんだ
DeepSeek V4 Pro 推奨GPU構成例：
NVIDIA H100 (80GB) × 8枚～16枚以上：快適なスループットには16枚以上が推奨されます。
NVIDIA B200/B300 × 8枚：次世代チップを用いた最新のデプロイ例です。
AI大手がブラックボックスすぎるからなんだが
中国産がオープンで米国が隠蔽してるなんて10年前の俺に説明しても信じてもらえないかもしれない
まあ割と中国は、「本当に良いものは独り占めせずみんなで共有しよう」って感じのとこあるわな
だから、ちょい前までは著作権さえろくに守らず「共有」してたりしてたんだが
「共産」だからな
思想的には本来そうであるはず
楽天AIもこれだしね
生産物は私有していいって思想
なぜか私有財産まで共有しなければいけないように言う資本主義側のプロパガンダが酷い
その言い方でいうと情報は手段でしかなくて
それを形にした書籍や商品が私有していいもの
その結果が特許の無償バラマキでっかw
同じメモリ量でも帯域幅が全然違うよ
アップルのってそんなに良かったっけ？
VRAMの半分もないでしょ
M4Proで273GB/s
RTX3060で360 GB/s
なので半分なんてことはない
どのみち50～70GB/s程度のPCのDDR5メモリとは比較にならない
メモリ帯域の問題で実用的なアウトプットができないからでしょ
オープンソースだし
コメント