ソフトウェア/Ollama の履歴(No.1)

更新

公開メモ

Ollama はオープンソースの LLM マネージャ＆サーバー†

LLM (Large Language Models) モデルを管理し、API を通じてサービスを提供できる。

apache2 の proxy を通じて LAN 内の Ollama サービスをインターネット上から利用可能にする†

  • Windows 上に Ollama
  • Debian 上に apache2

Ollama サービスを LAN 内に公開する†

Ollama は起動時に環境変数を参照して動作する。

https://qiita.com/kiyotaman/items/1aeb098b5ff0d6d5e641

環境変数名デフォルト値型説明
OLLAMA_FLASH_ATTENTION0intフラッシュアテンション有効化により高速化
OLLAMA_HOST127.0.0.1:11434stringOllamaサーバーのIPアドレス (外部接続は 0.0.0.0:11434)
OLLAMA_KEEP_ALIVE"5m"stringモデルがメモリに保持される期間 (-1は永続)
OLLAMA_LLM_LIBRARYなしstring自動検出しないで、指定した特定のLLMライブラリを使用する場合にその名前を設定
OLLAMA_MAX_LOADED_MODELS1intロードされるモデルの最大数
OLLAMA_NUM_PARALLEL1int並行リクエストの最大数
OLLAMA_ORIGINSlocalhost,127.0.0.1,0.0.0.0,string許可されるオリジンのカンマ区切りリスト
Counter: 1448 (from 2010/06/03), today: 5, yesterday: 3