Show HN: DeepSeekをGPT-OSSに蒸留しても検閲は移行しない。試してみて

「Distilling DeepSeek into GPT-OSS」は、DeepSeekモデルの知識をGPT-OSSに蒸留する手法を提示しています。このプロセスは、DeepSeekの検閲特性をGPT-OSSに転移させないことを実証し、オープンソースLLMにおける検閲問題への新たなアプローチを示唆しています。

• DeepSeekの出力を学習したモデルは、中国関連のセンシティブなプロンプトに対する検閲を引き継がないことが判明しました。
• この蒸留モデルは、財務推論能力において教師モデルと同等以上の性能を示しました。
• 中国製オープンモデルからの蒸留は、コストパフォーマンスと有害な挙動の伝播リスク低減が期待されていましたが、後者は確認されませんでした。
• ドメイン特化型アプリケーションでは、より大きな教師モデルなしでも性能向上が見られました。