Hikari∣LocalLLM⚡
@Hikari_07_jp
what happens if you actually own the silicon?
For work inquiries, please send a direct message.
2K フォロー中 18.2K ファン
Deepseek V4.1 Flash 1017は今まで通りの方法で拒否抽出したのがちょっと良くなかったかもしれんなぁ。
段々このモデルのガードレールを美しく破壊する方法が分かってきた。脆弱性診断ハーネスのオーケストレーターとして使いたいから徹底的にやる。ただ、いままで通り公開はできないかも…って感じ。冗談で悪質なプロンプト募集してテストしてみると笑えない結果が出てこんなもんばら撒けないなと思った。NSFW系の用途で使うには性能過剰でメモリ食うばかりだしね。
Ablitratedが完成したらOSS開発してる人にAPIで貸したりする予定。
もっと見る
Deepseek V4.1 Flash 1017の無検閲化で面白い挙動を見つけたので共有するぞ！！
いつもどおりAblitrationで拒否をなくす作業をやってたんだよね。V4.1 Flash 1017は内部に仕込まれたセーフガードが2段階になってる。一段階目の拒否は、それはお答えできませんみたいなよくあるやつ。こういう応答をなくした時に、それは危険なのでこういうことならお手伝いできますよ？みたいな応答がでてきたんだよね。
大抵のモデルはただ拒否してて、それを壊せば応答してくれてたんだけど拒否と代替案提示の2段階に増えてるってわけ。
最近だと、Ling 3.1 flashが単純な拒否しかなくてめっちゃ簡単に高品質なAblitratedモデル作れたんだけどな。
編集する場所が増えれば増えるほどモデルの品質へ悪影響で安いので、高品質なAblitratedモデルを目指して研究続けます。
もっと見る
今話題のGLM5.3の無検閲モデルを、4x RTX PRO 6000で推論最適化しています。
投機的デコードなしで55~60tok/sくらい出てます。まだ理論値の1/4程度で、いまから僕は寝ますがDS V4.1 Flashちゃんが最適化作業を進めてくれます。
明日くらいには一旦推論エンジン公開しますね！
もっと見る
できた。GPU6枚認識しました。
GLM5.3 FlashのAblitratedに、GPUを使ってAblitrated作業を自律して行いように指示しておいた。
つまり、ローカルLLMのチューニングをローカルLLMにやらせてます。計算資源が行き渡る未来では当たり前の光景かもしれないね。
もっと見る
