TOOLORA / ローカル閲覧版
llama.cpp
C/C++でローカルモデルを実行。CLI、量子化ツール、Web画面付きモデルサーバーを提供。
製品紹介
llama.cppはggml-orgが保守する推論プロジェクトで、Llamaという単一モデルではありません。対応ファイルを用意するとCLIで対話し、Web画面と互換APIを持つサーバーも起動できます。GGUF、量子化、複数のCPU・GPUバックエンドに対応し、ローカルや自社環境への組み込みに使います。モデル、ライセンス、対応機器は別々に確認が必要です。
公式の出典・参考資料
- 公式サイトhttps://github.com/ggml-org/llama.cpp
- 公式ドキュメントhttps://github.com/ggml-org/llama.cpp/tree/master/tools/server
公開情報に基づく紹介です。機能、料金、地域ごとの提供状況は公式サイトで確認してください。