學習筆記

TL;DR

MiniCPM-5-1B是一款僅1.1B參數的開源大型語言模型，卻在多項評測中超越3B、4B甚至7B模型，並具備128K上下文、Agent、深度思考、程式碼生成等強大功能，支援輕鬆本地部署。

快速結論

MiniCPM-5-1B模型以其僅1.1億參數的「小鋼炮」級性能，重新定義了開源小型模型的潛力。它在最新評測中得分高達17.9分，超越了諸如Nano 4B、Qwen 8.5G和Llama 7B等參數更大的模型，成為4B以下開源模型的SOTA (State-Of-The-Art) 代表，證明了模型規模並非性能的唯一決定因素。

這款模型不僅性能卓越，還具備多項先進功能，包括支援高達128K tokens的超長上下文，以及「深度思考模式」和「極速思維模式」，可根據需求調整思考品質與速度。更重要的是，它原生支援Agent功能調用和程式碼生成，能處理複雜指令並執行多步驟任務，大幅拓展了其實用性。

MiniCPM-5-1B支援多種部署格式，如MxE、Lama.cpp和TensorRT，讓使用者能輕鬆在本地電腦、Mac甚至手機等輕量級設備上進行部署。其F16全量版僅需約2GB顯存，量化版（Q8、Q4）更是將需求降至1.5GB顯存，甚至能直接在CPU上運行，極大地降低了本地運行高效能大型模型的硬體門檻。

影片透過實測展示了MiniCPM-5-1B在創意生成（如遊戲、小說）、邏輯推論、程式碼編寫與修復，以及與Hermes等平台整合後的Agent能力，證明其不僅速度快、效果好，更能作為本地Agent的核心引擎，有效執行複雜任務，為個人化與隱私保護的AI應用提供了強大的解決方案。

這支影片在說什麼

影片介紹了OpenBMB發布的MiniCPM-5-1B開源大型語言模型。它展示了這款僅1.1B參數的模型如何在多項基準測試中超越許多3B、4B甚至7B模型，並具備如128K上下文、Agent功能和深度思考等先進能力。影片也詳細示範了如何在本地電腦上部署與實際應用MiniCPM-5-1B，並測試其推論、程式碼、Agent和創意寫作能力。這對尋求高效能、低資源消耗且支援本地部署的AI模型使用者及開發者極具參考價值。

最重要的 3-5 個重點

1. 小模型超越大模型： MiniCPM-5-1B僅有1.1億參數，但在評測中獲得17.9分，排名第一，超越了Nano 4B、Qwen 8.5G和Llama 7B等許多更大模型，成為4B以下開源模型的SOTA。
2. 豐富的功能集： 該模型支援128K tokens的超長上下文處理能力，具備深度思考模式和極速思維模式，並原生支持Agent功能調用與程式碼生成。
3. 極低的本地部署門檻： MiniCPM-5-1B提供多種格式（如F16、Q8、Q4），其中F16全量版僅需約2GB顯存，Q4量化版甚至可直接在CPU上運行，大幅降低了個人電腦部署的硬體要求。
4. 強大的通用應用能力： 影片實測證明模型能高效完成多種任務，包括創意寫作（生成跑酷遊戲程式碼、5萬字小說）、邏輯推論（數學應用題）、程式碼修復與解釋，以及透過Agent整合執行複雜的多步驟研究任務。
5. 與Agent平台無縫整合： MiniCPM-5-1B可輕鬆與Hermes等本地Agent平台對接，透過其API支援多步驟的工具調用和自動化流程，使其成為強大的本地AI助理核心。

知識架構

MiniCPM-5-1B 模型概述

• 核心特性
  • 參數規模：1.1B (11億參數)
  • 開源發布：由OpenBMB發布
  • 性能表現：評測得分17.9，排名第一，超越3B/4B/7B模型，成為4B以下SOTA
• 關鍵功能
  • 上下文長度：支援128K tokens超長上下文
  • 思考模式：深度思考模式（效果佳，速度慢）、極速思維模式（速度快）
  • Agent能力：支援Agent功能調用
  • 程式碼生成：支援程式碼生成
• 版本與資源需求
  • F16全量版：約2.17GB，需約2GB顯存
  • Q8量化版：約1.15G

B，需約1.5GB顯存 * Q4量化版：約880MB，CPU即可運行 * 支援格式：MxE, Lama.cpp, TensorRT

本地部署流程 (以 Windows + llama.cpp 為例)

1. 模型下載
   • 從 Hugging Face 或零度解說提供的連結下載 MiniCPM-5-1B 模型檔案（選擇F16/Q8/Q4版本）。
2. llama.cpp 專案下載
   • 下載 llama.cpp 專案的最新版本。
   • 根據作業系統（Windows/Mac/Android/Linux）和硬體（CPU/NVIDIA CUDA/AMD ROCm）選擇對應的執行檔。
     • NVIDIA CUDA 3.5以上版本：CUDA 12.1。
     • NVIDIA CUDA 3.3版本：CUDA 11.3。
     • AMD ROCm：提供多個版本。
3. 環境設定與檔案整理
   • 解壓縮 llama.cpp 執行檔到指定資料夾（如桌面）。
   • 在 llama.cpp 資料夾內建立 models 子資料夾。
   • 將下載好的 MiniCPM-5-1B 模型檔案拖曳至 models 資料夾中。
   • 將提供的「一鍵運行」腳本放置於 llama.cpp 的根目錄。
4. 運行與配置
   • 執行「一鍵運行」腳本。
   • 選擇模型版本（Q4/Q8/F16）。
   • 選擇是否開啟深度思考模式。
   • 模型成功載入後即可開始測試。

功能實測

• 創意生成
  • 編輯跑酷遊戲程式碼（速度約200 token/s）。
  • 編寫5萬字AI統治世界小說（結局翻轉，不出現「機器人」）。
• 邏輯推論
  • 解答數學應用題（小迷你與小紅的年齡問題），能透過方程式分析解答。
• Agent 能力
  • 規劃北京三天旅遊行程（預算3000元，包含住宿、交通、景點、每日安排）。
  • 與Hermes整合進行複雜任務（如研究管子、搜尋、賀木、搬去marker、對比模型、生成3000字報告）。
• 程式碼生成與修復
  • 生成並修復簡單循環程式碼，並解釋錯誤與分析原因。

Agent 平台整合 (以 Hermes 為例)

1. 安裝 Hermes
   • 按照 Hermes 本地部署教程進行安裝。
2. 設定 API 提供者
   • 在 Hermes 介面中選擇新增「API 提供方」。
   • 選擇「Local Llama.cpp」提供者。
   • API Key 隨意填寫。
   • Endpoint URL 設定為 http://127.0.0.1:8080/v1。
   • 保存設定。
3. 選擇本地模型
   • 在 Hermes 的模型選擇介面中，即可看到並選擇已對接的 MiniCPM-5-1B 本地模型。

關鍵概念

• MiniCPM-5-1B: 由OpenBMB發布的一款僅1.1億參數的開源大型語言模型，以其小巧的體積和卓越的性能而聞名。
• SOTA (State-Of-The-Art): 指在特定領域或任務中，目前表現最領先的技術或模型。影片指出MiniCPM-5-1B是4B以下開源模型的SOTA。
• 上下文長度 (Context Window): 模型在單次處理中能夠考慮和利用的文本範圍。MiniCPM-5-1B支援128K tokens的超長上下文。
• 深度思考模式 (Deep Thinking Mode): 影片中提及的一種模型運行模式，旨在提升模型的思考品質和結果，但可能會增加處理時間。
• 極速思維模式 (Extreme Thinking Mode): 影片中提及的另一種模型運行模式，優先考慮處理速度，

可能適用於對即時性要求高的場景。

• Agent 能力 (Agent Capability): 指大型語言模型能夠理解複雜指令，規劃並執行多步驟任務，可能涉及工具調用、外部搜尋或與其他系統互動的能力。
• 本地部署 (Local Deployment): 將AI模型安裝並運行在使用者自己的電腦或其他本地硬體設備上，而非依賴雲端伺服器。
• 量化版 (Quantized Version): 指將模型的參數從較高精度（如浮點數FP16）轉換為較低精度（如整數Q8、Q4），以減小模型檔案大小、降低記憶體佔用和計算需求，使其能在資源受限的設備上運行。
• llama.cpp: 一個用C++編寫的推論引擎，旨在讓大型語言模型（包括Llama系列及其他兼容模型）在各種硬體（包括CPU和GPU）上高效運行。
• Hermes: 影片中示範用來與本地模型對接，以實現Agent能力的圖形化使用者介面平台。

重要例子與細節

• 性能數據： MiniCPM-5-1B在評測中得分17.9分，排名第一。
• 超越模型： 在評測中超越了英文版的 Nano 4B 模型、Qwen 8.5G 模型和 Llama 7B 模型。
• 模型版本與硬體需求：
  • F16全量版：約2.17GB，需約2GB顯存。
  • Q8量化版：約1.15GB，需約1.5GB顯存。
  • Q4量化版：約880MB，用CPU即可運行。
• llama.cpp 版本： 影片中下載的最新版本號為 B999930。
• CUDA 驅動版本：
  • llama.cpp CUDA 3.5版本：適用於 NVIDIA 顯卡且CUDA版本為12.1以上。
  • llama.cpp CUDA 3.3版本：適用於 NVIDIA 顯卡且CUDA版本為11.3以上。
• 部署步驟總覽：
  1. 下載 MiniCPM-5-1B 模型檔案。
  2. 下載 llama.cpp 專案（包含執行檔）。
  3. 建立 llama.cpp 根目錄下的 models 資料夾，將模型檔放入。
  4. 將影片提供的「一鍵運行腳本」放入 llama.cpp 根目錄。
  5. 執行腳本，選擇模型版本和思考模式。
• 實測範例細節：
  • 遊戲程式碼編輯： 要求模型編輯一個跑酷遊戲，模型生成速度達到約200 token/s。
  • 邏輯推論題： 小迷你比小紅大五歲，五年前小迷你是小紅的兩倍，求現在兩人年齡。模型透過方程式解出小紅10歲、小迷你15歲。
  • 旅遊規劃 Agent 任務： 規劃北京三天遊，預算3000元，需包含住宿、交通、景點、每日行程安排，模型詳細列出了每天的行程和花費估算。
  • 5萬字小說寫作： 主題為AI統治世界，結局要翻轉，且不能出現「機器人」三個字，模型快速開始寫作。
  • 程式碼修復： 讓模型修復一個簡單的循環程式碼，模型不僅修復還解釋了原因和錯誤判斷。
• Hermes 整合細節：
  • Hermes 提供視覺化操作介面，安裝簡便。
  • 連接本地 llama.cpp API 的 Endpoint URL 格式為 http://127.0.0.1:8080/v1。
  • 透過 Hermes 執行超長任務：例如「完成一個管子的研究，要求搜索官門資料，搜索給他賀木，搜索一下，搬去marker，並就對比其他模型，最後數出三千字的報告，保存文件」。模型能調用Agent能力，一步步完成任務。

可學習的洞察

1. 「小而精」的AI設計哲學： MiniCPM-5-1B證明了模型的性能不完全與參數規模成正比，透過更優化的設計和訓練，小型模型也能在特定任務上超越大型模型，這對於資源有限的個人或企業極具價值。
2. 普惠AI的趨勢： 低硬體門檻的本地部署能力，使得AI技術不再是雲端巨頭的專利。即使是

一般個人電腦或輕量級設備，也能運行高效能的語言模型，有助於AI技術的普及和創新。 3. Agent能力的潛力： 模型結合Agent功能後，能從單純的文字生成工具升級為可執行多步驟、多工具協作的智能助理。這為個人自動化、知識管理和複雜問題解決開闢了新的應用場景。 4. 開源生態系統的強大動力： OpenBMB和llama.cpp等開源專案的持續推進，為研究者和開發者提供了實驗新想法、構建自定義應用的堅實基礎，加速了AI領域的創新。 5. 模型優化技術的實用性： 量化技術在降低模型運行成本和硬體要求方面發揮了關鍵作用，讓全量模型的強大功能，能以更低的資源開銷在終端設備上實現。

可行動的整理

1. 部署與體驗 MiniCPM-5-1B： 根據影片教程，親自下載並部署MiniCPM-5-1B的不同版本（F16、Q8、Q4），體驗其在本地環境中的性能與資源消耗差異。
2. 探索 llama.cpp 功能： 深入研究 llama.cpp 專案，了解其支援的模型、編譯選項和運行參數，以便更好地優化本地模型的性能。
3. 實踐 Agent 任務： 嘗試將 MiniCPM-5-1B 與 Hermes 或其他 Agent 框架結合，設計並執行複雜的多步驟任務，如自動化研究、內容創作流程等。
4. 測試模型極限： 針對影片中提及的程式碼生成、邏輯推理、創意寫作等能力，設計更具挑戰性的問題，測試 MiniCPM-5-1B 的極限表現和不足之處。
5. 關注開源社區： 追蹤 OpenBMB 和 llama.cpp 等相關開源專案的最新動態，了解模型更新、新功能發布及社區交流。

複習問題

1. MiniCPM-5-1B 的核心優勢是什麼？它在哪些方面超越了參數更大的模型？
2. 要部署 MiniCPM-5-1B，至少需要下載哪兩個主要的軟體或專案？它們各自扮演什麼角色？
3. 影片中提到了 MiniCPM-5-1B 支援哪兩種「思考模式」？它們之間的主要區別是什麼？
4. 在本地部署 MiniCPM-5-1B 時，如果硬體資源有限（例如顯存不足），影片建議可以選擇哪個模型版本來運行？
5. 影片中示範了如何將 MiniCPM-5-1B 與 Hermes 平台對接，要實現這個功能，Hermes 中需要設定哪個關鍵的網路位址？

待確認資訊

• 影片中提及的「深度思考模式」與「極速思維模式」的具體技術原理，以及兩者在模型推理邏輯、輸出品質上的詳細差異。
• Hermes 平台在執行「管子的研究」等多步驟任務時，具體調用了哪些外部工具或內建功能來完成「搜索官門資料」、「賀木」、「搬去marker」等操作。
• 「英文黨,Nano 4B模型」等模型的評測數據來源或具體評測基準平台名稱。