- 製程
- 台積電直接客戶（Direct Account）；7 nm FinFET 設計授權；6 nm AI 全客製化晶片設計
- 全客製化技術
- 客製化元件、K 庫與 Re-K、手工網表、手工 PR、客製化時脈樹
- 運算模組
- MAC 陣列、乘法器、加法器樹、管線暫存器
- 合作方式
- 技術評估、最佳化方案、設計顧問、全客製化設計
AI 晶片類型
全客製化技術可以用在哪些 AI 晶片上。
下列晶片的運算核心都有大量重複的規則結構，是全客製化最能發揮作用的地方。
- 每次推論的能耗
- 記憶體頻寬
- MAC 陣列的面積效率
- 浮點張量核心的能效
- 高頻寬記憶體與晶片間互連
- 機櫃級功耗
- 每 Token 的能耗與成本
- KV 快取與記憶體頻寬
- 首 Token 延遲
- 嚴格的功耗預算
- LPDDR 頻寬
- 物料成本
- MAC 陣列的能效
- 持續運作時的散熱
- 與軟體堆疊的配合
- 每路視訊的功耗
- 密閉外殼下的散熱
- 成本
- 張量核心的能效
- 高頻寬記憶體
- 開發時程
- 持續效能與散熱
- 電池續航
- LPDDR 頻寬
- 功能安全
- 散熱
- 感測器介面
- 常開功耗
- 鏡腳散熱
- 物料成本
- 待機功耗
- 成本
- 模型大小
- 加法器樹與位元單元
- 大模型容量
- 軟體支援
全客製化技術如何用於 AI 晶片
方法學中的每一項技術，都能用在 AI 晶片上。
AI 晶片的運算核心由暫存器、組合邏輯與暫存器反覆組成，切換率高，結構規整，正適合全客製化。
客製化
元件 依需求客製化 MAC 陣列與管線中的暫存器、閂鎖器、全加器與壓縮器。暫存器越多，客製化循序元件的效益越明顯。
多位
元與動態 循序 元件 多位元暫存器讓多個位元共用一個時脈接腳，降低時脈功耗；再依架構選擇靜態或動態、正反器或閂鎖器。
K 庫與 Re-K
客製化元件完成特性化，元件庫延伸到實際工作電壓，模型可與晶圓代工廠元件一起簽核。
手工
網表 把 RTL 中的乘法器、加法器樹與管線級對應到客製化元件，命名規整，便於腳本與擺置。
手工 PR
MAC 陣列依位元切片規整擺置，縮短線長，縮減面積。陣列規模越大，效益越明顯。
客製化
時脈樹 針對規則陣列設計時脈分布，控制偏移與時脈功耗。
低電壓
設計 動態功耗與電壓的平方成正比。全客製化讓運算核心工作在更低的電壓，提升每瓦算力。
混合
臨界 電壓 元件 手工擺置下，同一元件內可以混用臨界電壓，深度最佳化關鍵路徑與功耗。
供電與 IR 壓降
高密度算力的電源網路與擺置一起設計，完成靜態與動態 IR 壓降分析。
技術方案
NPU 全客製化技術方案。
來自我們為頭部 AI 客戶的 AI 處理器進行的 NPU 全客製化技術工作，已隱去客戶資訊。
兩種
客製化 深度 輕度客製化以客製化元件庫搭配邏輯合成與自動佈局繞線。深度客製化以客製化元件搭建區塊，效益更大，並可以相對獨立地簽核。
MAC 陣列
客製化 針對 INT8 等定點乘法器、加法器樹與管線暫存器進行區塊級客製化。MAC 陣列規模越大，客製化的意義越大。
對照
組評估 以標準元件與自動佈局繞線為對照組，逐項評估客製化元件、手工網表、手工時脈樹與手工 PR 在面積、功耗與速度上的變化。
循序
元件 選擇 依架構與時脈方案選擇動態正反器、動態閂鎖器或靜態元件；閂鎖器方案可以採用三相非重疊時脈。
區塊級
簽核 客製化區塊單獨簽核，頂層靜態時序分析呼叫區塊模型，與數位後端流程配合。
運算
核心 測試 運算核心可以內建功能測試，透過功能向量驗證運算結果。
前端
配合 明確 RTL 的模組層級與資料流，並為功耗模擬提供準確的元件資料。
低電壓
目標 依目標電壓完成 K 庫或 Re-K，並以電路模擬校準客製化元件的時序與功耗模型。
交付
檔案 全客製化設計流程文件、客製化元件報告、閘級網表報告與佈局繞線報告。
合作方式
四個階段，逐步推進。
技術
評估 您提交技術問題，我們提供詳細解答，並評估全客製化的可行性。
最佳化
方案 分析您的設計，提出最佳化方向、技術方案與預期的 PPA 改進。
設計
顧問 提供流程指導、設計審查與實施支援，協助您的團隊落實方案。
全客製化
設計 從最佳化設計到設計定案的全流程設計服務，交付完整設計資料。
AI 晶片熱門技術
- MAC 陣列
- 由大量乘加單元組成的運算陣列，是 NPU 與推論晶片的核心。
- HBM（高頻寬記憶體）
- 與處理器封裝在一起的堆疊式 DRAM。目前產品使用 HBM3E 與 HBM4，下一代是 HBM4E。
- CoWoS 與 2.5D 封裝
- 在中介層上整合處理器與 HBM 的先進封裝，是高階 AI 晶片的關鍵產能。
- 3D 堆疊與混合接合
- 把晶粒垂直堆疊並以混合接合相連，縮短互連距離。
- 小晶片（Chiplet）與 UCIe
- 把大晶片拆分為多個晶粒。UCIe 是小晶片互連的開放標準。
- CPO（共同封裝光學）
- 把光引擎封裝到交換或運算晶片旁邊，降低長距離互連的功耗。
- 記憶體內運算
- 在記憶體陣列內部或旁邊運算，減少資料搬移。
- 低精度量化
- 以 INT8、INT4、FP8、FP4 等較低位元寬度表示權重與激活值，減少乘法器與記憶體的開銷。
- Transformer 加速
- 針對注意力機制與矩陣運算最佳化的資料路徑。
- KV 快取與每 Token 成本
- 大模型推論的 KV 快取隨上下文長度成長，每 Token 成本已成為推論晶片的關鍵指標之一。
- 大容量 SRAM
- 把模型權重或上下文放在晶片上，降低存取能耗與延遲。
- 晶片網路（NoC）
- 連接運算單元與記憶體的晶片內互連。
- RISC-V AI
- 基於開放指令集的 AI 處理器與加速器。
- 低電壓與近臨界電壓設計
- 運算核心工作在接近電晶體臨界電壓的電壓，以提高能效。低電壓設計仰賴精確的 K 庫。
- 背面供電
- 把供電網路移到晶圓背面，降低 IR 壓降。
- GAA 與 2 nm
- 全環繞閘極電晶體，在 2 nm 世代取代 FinFET。
應用
AI 晶片應用
關於 AI 晶片的問題
推論晶片和訓練晶片有什麼不同？
訓練晶片以資料訓練模型權重，更看重浮點算力、記憶體頻寬與叢集互連。推論晶片執行訓練好的模型，更看重每次請求的成本、功耗與延遲。
大模型推論晶片和 AI 推論晶片有什麼不同？
大模型推論晶片是 AI 推論晶片的一類，專門為 Transformer 大模型逐一產生 Token，更看重每 Token 的成本與 KV 快取所需的記憶體頻寬。
端側 AI 晶片是什麼？
端側 AI 晶片在手機、PC、眼鏡、攝影機等裝置內執行模型，不仰賴雲端。它的關鍵是功耗預算、LPDDR 頻寬與物料成本。
什麼是 NPU 晶片？
NPU 是專門完成神經網路運算的處理器，核心是 MAC 陣列與本地記憶體。它可以是獨立晶片，也可以是 SoC 中的區塊。
記憶體內運算晶片是什麼？
記憶體內運算晶片在記憶體陣列內部或旁邊完成運算，減少資料在記憶體與運算單元之間的搬移，分為數位與類比兩類。
全客製化可以用在 AI 晶片的哪些部分？
最適合 MAC 陣列、乘法器、加法器樹與管線暫存器這類結構規整、切換率高的區塊。控制邏輯與介面繼續採用標準工具流程。
K 庫和手工 PR 對 AI 晶片有什麼幫助？
K 庫讓客製化元件與低電壓元件庫有準確的模型，手工 PR 讓 MAC 陣列排列更規整、線長更短。兩者配合，讓運算核心在更低的電壓下工作。
你們支援哪些製程？
我們是台積電直接客戶（Direct Account），設計工作涵蓋 16 nm、12 nm、7 nm、6 nm FinFET。
相關頁面
有 AI 晶片專案？
告訴我們模型、算力目標、功耗預算與目標製程，我們會回覆您。