Axolotl

Axolotl はオープンソースの微調整ツールで、決定的な選択は設定ファイルにあります。学習は Python で組み立てるのではなく YAML で記述し、実際に回される構成——LoRA、全パラメータ微調整、マルチ GPU、特定モデル——のレシピ、クックブック、ノートブックを同梱します。

この選択が価値のすべてであり、限界のすべてでもあります。設定ファイルで学習を記述すると再現可能で比較可能になります。二つの実行の違いは読める差分になり、うまくいったレシピは他人に渡せます。同時に、よく踏まれた道はうまく扱えるが、誰も必要としなかった処理が学習ループに要ると途端に扱いにくくなります。そのときはツールを拡張するか、PyTorch のような枠組みに降りて便利さを諦めるかです。微調整のパイプライン一般に言えることですが、品質はツールからではなくデータから来ます。設定ファイルは悪いデータセットを直しません。