AI Ark LLM Wiki

localmachine — aiark 主機 AI Gateway 與模型服務基線

Properties1
tagsinfrastructure, gateway, aiark, deployment, localmachine

閱讀時間約 4 分鐘

localmachine — aiark 主機 AI Gateway 與模型服務基線

localmachine 是 aiark 這台主機的單機 AI gateway 與模型服務部署基線。

公開端點（外部整合用）

外部請求統一使用 Authorization: Bearer datasys2026。

正式入口（僅接受這兩個）：

  • https://aiark.com.tw
  • https://aiark.tw

禁止外部 agent 或 partner client 直接打：

  • 127.0.0.1:*
  • /ollama/*
  • /vllm/*
  • /image-qwen/*
  • /image-arbiter/*
  • */admin/unload

這些屬於主機維運、診斷或 GPU 協調用途，不是外部契約。

API 路由對照

類別路由API Key
LLM/v1/chat/completionsdatasys2026
STT/v1/audio/transcriptionsdatasys2026
TTS/v1/audio/speechdatasys2026
Image/v1/images/generationsdatasys2026
Music/v1/music/*datasys2026

所有端點共用同一組 API Key datasys2026，以 Bearer token 形式傳遞。

可用模型

文字 / LLM

模型 ID狀態說明
aiark/gemma4-e2b可用輕量文字模型
aiark/gemma4-e4b可用較實用的單卡文字模型
aiark/gemma4-26b-heretic-q5km可用無審查 / uncensored 版本
aiark/qwen36-35b-iq3可用量化大模型
aiark/deepseek-r1-14b可用reasoning 模型
aiark/deepseek-r1-8b可用reasoning 模型
aiark/qwen36-35b-a3b可用reasoning 模型，外部機器（lms.datasys.com.tw），128k context，不佔本機 GPU
aiark/qwen36-27b-q4km可用27B Dense agentic 模型，thinking 預設 OFF，適合 tool calling
aiark/qwen36-27b-q4km-think可用同上，thinking ON
aiark/gemma4-27b-q4km可用27B Dense agentic 模型（Gemma 4）

語音 / TTS

模型 ID狀態說明
(TTS default)可用預設語音路線，不需額外參數
(TTS high quality)可用高品質語音路線，支援指定自訂聲音

語音轉文字 / STT

模型 ID狀態說明
(STT default)可用FP16，走 localmachine gateway

圖像 / Image

模型 ID狀態說明
aiark/z-image-turbo可用圖像生成；支援 img2img（傳 image_url + strength）
aiark/ernie-image-turbo可用圖像生成（text-to-image only，image_url 無效）
(Image default)可用圖像生成，正式入口走 localmachine

音樂 / Music

模型 ID狀態說明
(Music default)可用音樂生成

預設起手組合

外部單位或新 Agent 若要先用一套最穩的預設：

類別預設模型用法
文字aiark/gemma4-e4b一般對話、文件摘要、Agent glue
圖像(Image default)預設圖像生成
語音(TTS default)預設 voice
STT(STT default)語音轉文字
音樂(Music default)音樂生成

最小範例

LLM

curl -X POST 'https://aiark.com.tw/v1/chat/completions' \
  -H 'Authorization: Bearer datasys2026' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "aiark/gemma4-e4b",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

Image（text-to-image）

curl -X POST 'https://aiark.com.tw/v1/images/generations' \
  -H 'Authorization: Bearer datasys2026' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "aiark/z-image-turbo",
    "prompt": "a cat"
  }'

Image（img2img — Z-Image Turbo 專屬）

傳入參考圖，strength 控制偏離程度（0 = 幾乎不變，1 = 完全重繪）：

curl -X POST 'https://aiark.com.tw/v1/images/generations' \
  -H 'Authorization: Bearer datasys2026' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "aiark/z-image-turbo",
    "prompt": "a cat",
    "image_url": "https://example.com/reference.jpg",
    "strength": 0.7
  }'

注意：aiark/ernie-image-turbo 忽略 image_url，img2img 請用 aiark/z-image-turbo。

TTS

curl -X POST 'https://aiark.com.tw/v1/audio/speech' \
  -H 'Authorization: Bearer datasys2026' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "tts-1",
    "input": "Hello world",
    "voice": "alloy"
  }'

STT

curl -X POST 'https://aiark.com.tw/v1/audio/transcriptions' \
  -H 'Authorization: Bearer datasys2026' \
  -F 'file=@audio.ogg' \
  -F 'model=whisper-1'

內部 / 診斷路由

這些路由不是外部整合契約：

路由用途
/ollama/*raw Ollama gateway proxy
/vllm/*raw vLLM gateway proxy
/image-qwen/*raw Qwen image backend proxy
/image-arbiter/*GPU Arbiter 多模態測試路由
*/admin/unload模型卸載與 VRAM 回收

快速啟動

cp env/runtime.env.example env/runtime.env
docker compose up -d

目錄結構

  • docs/architecture.md — 架構切分與正式路由
  • docs/networking.md — 內網、私網、公開入口
  • docs/e2e-plan.md — 完整 E2E 測試計劃
  • docs/model-status.md — 模型與部署狀態
  • docs/roadmap.md — 下一步規劃
  • docs/image-eval-prompts.md — 固定圖片評測 prompts

Graph View

反向連結