LlamaChat

LlamaChatでは、LLaMA、Alpaca、GPT4AllのモデルをMac上でローカル実行しながらチャットできます。Vicunaにも近日対応予定です。Alpacaは、OpenAIのtext-davinci-003で生成された52Kの指示追従デモンストレーションを使ってファインチューニングされた、Stanfordの70億パラメータLLaMAモデルです。このファインチューニングにより、元のLLaMAモデルよりもチャットボットに近い体験を実現します。

LlamaChatは、公開されたPyTorchモデルチェックポイントをそのまま読み込めるほか、変換済みの.ggmlモデルファイルも直接インポートできます。llama.cppやllama.swiftなどのオープンソースライブラリを基盤としており、100%無料で、完全なオープンソースソフトウェアとして今後も提供されます。

利用するには公式サイトからダウンロードするか、Homebrewでbrew install --cask llamachatを実行してインストールします。

システム要件はmacOS 13です。IntelプロセッサとApple Silicon向けに開発されています。LlamaChatにはモデルファイルが付属していないため、各提供元が定める利用規約に従って、ユーザー自身で適切なモデルファイルを入手し統合する必要があります。