---
title: "在 ARX 裝置上部署您微調的模型"
description: "檢查微調後的模型是否符合 ARX 要求的格式與檔案、上傳至 private Hugging Face repository，再從 AI Model Center 下載並部署"
canonical_url: "https://developer.ardge.com/zh-tw/guide/model-provider/deploy-fine-tuned-model"
---
# 在 ARX 裝置上部署您微調的模型

> 檢查微調後的模型是否符合 ARX 要求的格式與檔案、上傳至 private Hugging Face repository，再從 AI Model Center 下載並部署

## 概觀

ARX 運行於具備 GPU 資源的伺服器上。除了 AI Model Center 既有的開源模型之外，您也可以部署自行微調的模型。

將微調後的模型上傳到您的 private Hugging Face repository，並在 ARX 中儲存 Hugging Face access token，AI Model Center 就能找到並部署該模型。

本文說明 ARX 要求的模型格式與檔案，以及完整的上傳與部署流程。

## 您將學到

- 檢查微調模型的格式與檔案是否符合 ARX 要求
- 將模型上傳至 private Hugging Face repository
- 從 AI Model Center 下載並部署模型

**預估時間：約 20 分鐘**（不含上傳與下載時間）

## 適用版本

- ARX OS 1.0 以上

## 開始之前

- 您已有 Hugging Face 帳號，並在 ARX 中儲存了 access token。請見[註冊 Hugging Face 帳號並取得 access token](https://developer.ardge.com/zh-tw/knowledge/arx-os/huggingface-token)
- 您的帳號具有 AI Model Center 的存取權限

## 支援的格式與必要檔案

ARX 支援兩種權重格式：**safetensors** 與 **GGUF**。上傳前請確認 repository 內含以下檔案：

<table>
<thead>
  <tr>
    <th>
      檔案
    </th>
    
    <th>
      用途
    </th>
    
    <th>
      何時需要
    </th>
  </tr>
</thead>

<tbody>
  <tr>
    <td>
      <code>
        config.json
      </code>
    </td>
    
    <td>
      模型架構設定
    </td>
    
    <td>
      一律需要
    </td>
  </tr>
  
  <tr>
    <td>
      <code>
        tokenizer.json
      </code>
    </td>
    
    <td>
      tokenizer 本體
    </td>
    
    <td>
      一律需要
    </td>
  </tr>
  
  <tr>
    <td>
      <code>
        tokenizer_config.json
      </code>
    </td>
    
    <td>
      tokenizer 設定
    </td>
    
    <td>
      一律需要
    </td>
  </tr>
  
  <tr>
    <td>
      權重檔（<code>
        *.safetensors
      </code>
      
       或 <code>
        *.gguf
      </code>
      
      ）
    </td>
    
    <td>
      模型權重
    </td>
    
    <td>
      一律需要
    </td>
  </tr>
  
  <tr>
    <td>
      <code>
        model.safetensors.index.json
      </code>
    </td>
    
    <td>
      權重的分片索引
    </td>
    
    <td>
      權重拆成多個檔案時
    </td>
  </tr>
  
  <tr>
    <td>
      <code>
        preprocessor_config.json
      </code>
    </td>
    
    <td>
      輸入前處理設定
    </td>
    
    <td>
      視覺模型
    </td>
  </tr>
</tbody>
</table>

<tip>

**微調自熱門開源模型？多數檔案可直接沿用：**

這些檔案通常可以取自原始模型的 repository，只有 `config.json` 需要依您的微調方式更新。

</tip>

ARX 支援 vLLM、NVIDIA vLLM、Llama.cpp 與 Faster Whisper 作為部署引擎。引擎由您自行選擇——步驟 3 下載模型時，介面會引導您完成設定。

## 步驟 1：確認模型檔案完整

1. 對照上方清單檢查微調模型的目錄
2. 補齊缺少的檔案
3. 依您的微調方式更新 `config.json`

## 步驟 2：將模型上傳至 private Hugging Face repository

1. 登入 Hugging Face，前往 [huggingface.co/new](https://huggingface.co/new) 建立 model repository
2. 輸入 repository 名稱，並將可見性設為 **Private**
3. 開啟該 repository 的 **Files and versions** 分頁
4. 點擊 **Add file › Upload files**，選取您的模型檔案
5. 填寫 commit message，然後點擊 **Commit changes**

## 步驟 3：從 AI Model Center 下載並部署

1. 開啟 AI Model Center，前往 **Model Hub** 頁面
2. 切換到 **Hugging Face** 分頁
3. 搜尋您上傳的模型，其卡片會出現在結果中
4. 在卡片上點擊 **Download & Deploy**
5. 依提示選擇部署引擎與其設定

模型會從 Hugging Face 下載，所需時間取決於模型大小與網路速度，即時進度可在 **Downloaded Model** 頁面查看。下載完成後隨即開始部署，切換到 **Model Instance** 頁面即可追蹤；狀態顯示 **Running** 表示部署完成。

<warning>

**private repository 的模型需先在 ARX 中儲存 access token：**

未儲存 token 時，**Hugging Face** 分頁找不到您 private repository 中的模型。

</warning>

<tip>

**部署前先確認 GPU 容量：**

若目標顯示卡的剩餘容量不足以支應模型的預估用量，系統會擋下該次部署。請見 [GPU VRAM Allocated 是什麼意思？](https://developer.ardge.com/zh-tw/knowledge/arx-os/gpu-vram-allocated)

</tip>

## 相關文章

- [註冊 Hugging Face 帳號並取得 access token](https://developer.ardge.com/zh-tw/knowledge/arx-os/huggingface-token)
- [GPU VRAM Allocated 是什麼意思？](https://developer.ardge.com/zh-tw/knowledge/arx-os/gpu-vram-allocated)
- [透過 API 呼叫 ARX 上的地端模型](https://developer.ardge.com/zh-tw/guide/isv/api-model-calls)


## Sitemap

See the full [sitemap](https://developer.ardge.com/sitemap.md) for all pages.