updated to single server
This commit is contained in:
@@ -7,7 +7,7 @@ REPO_DIR := $(shell pwd)
|
|||||||
ITEMS := skills tools agents
|
ITEMS := skills tools agents
|
||||||
|
|
||||||
# LLM services to manage
|
# LLM services to manage
|
||||||
LLM_SERVICES := atlas forge swift
|
LLM_SERVICES := odin
|
||||||
|
|
||||||
PLIST_PATH := ~/Library/LaunchAgents
|
PLIST_PATH := ~/Library/LaunchAgents
|
||||||
|
|
||||||
@@ -68,4 +68,4 @@ restart-llm-%:
|
|||||||
@launchctl bootout gui/$$(id -u) $(PLIST_PATH)/com.vllm-mlx.$*.plist || true
|
@launchctl bootout gui/$$(id -u) $(PLIST_PATH)/com.vllm-mlx.$*.plist || true
|
||||||
@launchctl bootstrap gui/$$(id -u) $(PLIST_PATH)/com.vllm-mlx.$*.plist
|
@launchctl bootstrap gui/$$(id -u) $(PLIST_PATH)/com.vllm-mlx.$*.plist
|
||||||
|
|
||||||
restart-llm: $(patsubst %,restart-llm-%,$(LLM_SERVICES))
|
restart-llm: $(patsubst %,restart-llm-%,$(LLM_SERVICES))
|
||||||
|
|||||||
+26
@@ -0,0 +1,26 @@
|
|||||||
|
manager:
|
||||||
|
memory_budget: 450
|
||||||
|
contention_policy:
|
||||||
|
strategy: wait_then_preempt
|
||||||
|
wait_timeout_s: 45
|
||||||
|
preempt_after_s: 15
|
||||||
|
|
||||||
|
models:
|
||||||
|
- name: Qwen-Coder-Next
|
||||||
|
model: mlx-community/Qwen3-Coder-Next-4bit
|
||||||
|
estimated_memory_gb: 50
|
||||||
|
reasoning_parser: qwen3
|
||||||
|
|
||||||
|
- name: Qwen3.6
|
||||||
|
model: mlx-community/Qwen3.6-35B-A3B-6bit
|
||||||
|
estimated_memory_gb: 40
|
||||||
|
reasoning_parser: qwen3
|
||||||
|
|
||||||
|
- name: gemma
|
||||||
|
model: mlx-community/gemma-4-31b-it-8bit
|
||||||
|
estimated_memory_gb: 40
|
||||||
|
reasoning_parser: gemma4
|
||||||
|
|
||||||
|
- name: MiniMax-M3
|
||||||
|
model: pipenetwork/MiniMax-M3-MLX-mixed-3_6bit
|
||||||
|
estimated_memory_gb: 200
|
||||||
@@ -1,59 +0,0 @@
|
|||||||
{
|
|
||||||
"$schema": "https://opencode.ai/config.json",
|
|
||||||
"provider": {
|
|
||||||
"swift": {
|
|
||||||
"npm": "@ai-sdk/anthropic",
|
|
||||||
"name": "Odin",
|
|
||||||
"options": {
|
|
||||||
"baseURL": "http://192.168.2.49:12000/v1",
|
|
||||||
"apiKey": "changeme"
|
|
||||||
},
|
|
||||||
"models": {
|
|
||||||
"mlx-community/Qwen3-Coder-Next-4bit": {
|
|
||||||
"name": "Odin Swift",
|
|
||||||
"tool_call": true,
|
|
||||||
"options": {
|
|
||||||
"temperature": 1.0,
|
|
||||||
"top_p": 0.95
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
},
|
|
||||||
"forge": {
|
|
||||||
"npm": "@ai-sdk/anthropic",
|
|
||||||
"name": "Odin",
|
|
||||||
"options": {
|
|
||||||
"baseURL": "http://192.168.2.49:12001/v1",
|
|
||||||
"apiKey": "changeme"
|
|
||||||
},
|
|
||||||
"models": {
|
|
||||||
"mlx-community/Qwen3-Coder-Next-6bit": {
|
|
||||||
"name": "Odin Forge",
|
|
||||||
"tool_call": true,
|
|
||||||
"options": {
|
|
||||||
"temperature": 1.0,
|
|
||||||
"top_p": 0.95
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
},
|
|
||||||
"atlas": {
|
|
||||||
"npm": "@ai-sdk/anthropic",
|
|
||||||
"name": "Odin",
|
|
||||||
"options": {
|
|
||||||
"baseURL": "http://192.168.2.49:12002/v1",
|
|
||||||
"apiKey": "changeme"
|
|
||||||
},
|
|
||||||
"models": {
|
|
||||||
"mlx-community/Qwen3.5-35B-A3B-6bit": {
|
|
||||||
"name": "Odin Atlas",
|
|
||||||
"tool_call": true,
|
|
||||||
"options": {
|
|
||||||
"temperature": 1.0,
|
|
||||||
"top_p": 0.95
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
@@ -0,0 +1,35 @@
|
|||||||
|
{
|
||||||
|
"$schema": "https://opencode.ai/config.json",
|
||||||
|
"provider": {
|
||||||
|
"odin": {
|
||||||
|
"npm": "@ai-sdk/anthropic",
|
||||||
|
"name": "Odin",
|
||||||
|
"options": {
|
||||||
|
"baseURL": "http://192.168.2.49:12000/v1",
|
||||||
|
"apiKey": "changeme"
|
||||||
|
},
|
||||||
|
"models": {
|
||||||
|
"Qwen-Coder-Next": {
|
||||||
|
"name": "Qwen-Coder-Next",
|
||||||
|
"tool_call": true,
|
||||||
|
"options": {
|
||||||
|
"temperature": 1.0,
|
||||||
|
"top_p": 0.95
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"Qwen3.6": {
|
||||||
|
"name": "Qwen3.6",
|
||||||
|
"tool_call": true
|
||||||
|
},
|
||||||
|
"gemma": {
|
||||||
|
"name": "gemma",
|
||||||
|
"tool_call": true
|
||||||
|
},
|
||||||
|
"MiniMax-M3": {
|
||||||
|
"name": "MiniMax-M3",
|
||||||
|
"tool_call": true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
Reference in New Issue
Block a user