Unsloth

Unsloth はオープンモデルの微調整と実行のためのオープンソースの枠組みで、現在はデスクトップアプリとしても提供され、どちらの工程も Python 環境を組まずに済みます。重点はメモリ効率です。より少ない VRAM で速く学習できると主張しており、これは手持ちのハードウェアに微調整が収まるかを決めます。テキスト、画像、音声合成、埋め込みのモデルを扱い、教師あり微調整だけでなく強化学習も含みます。

ここでメモリ効率が製品のすべてである理由は算術です。オープンモデルの微調整には重みだけでは足りません。オプティマイザの状態と活性化が要件をモデルファイルよりずっと押し上げるため、推論なら快適に動くモデルが、同じカードでは学習に届かないことがあります。その負荷を削る技法は「何が可能か」を変えるのであって、単に便利にするのではありません。正直な留保は、何かと引き換えであることです。数値精度への注意、あるいは特殊なアーキテクチャとの相性。加速は本物ですが無償ではありません。デスクトップアプリは新しく、対応モデルの一覧が実際にできることの限界です。