通往晶片的路徑

從 GPU 到您自己的 ASIC。

GPU 什麼都能跑,代價是價格與功耗;當一項已經穩定的工作負載大規模執行時,專為它設計的晶片能以更低的成本完成同樣的工作。我們評估這筆帳並設計加速器,適用於 AI 推論,也適用於其他已經穩定的運算。

適合
GPU 支出或功耗預算主要由一項工作負載決定的團隊:AI 推論,或其他大規模重複執行的運算
您提供
這項工作負載目前在 GPU 上的執行情況:吞吐量、所用的硬體,以及成本
您取得
先是一份可行性報告,接著是為您的產品定義規格、設計並完成設計定案(tape-out)的晶片
我們的實績
為客戶在 28 nm、16 nm、8 nm 與 7 nm 上設計算力加速 ASIC,以 GDS 交付、由客戶製造;並進行了 6 nm AI 全客製化晶片設計

三項判斷標準

一項工作負載值不值得擁有自己的晶片。

  1. 這項工作負載會維持不變嗎?

    晶片會把運算內容固定下來。模型、運算子或核心程式必須穩定到撐過設計期間,否則晶片就得把合適的部分保留為可程式化。

  2. 晶片能比 GPU 領先多少?

    效益來自拿掉這項工作負載用不到的部分:更窄的算術位元寬、依資料量配置的記憶體,以及依運算形態設計的資料路徑。用到的 GPU 功能越少,效益越大。

  3. 規模撐得起一次性成本嗎?

    每單位工作省下的成本,乘上晶片生命週期內要執行的總工作量,必須超過工程與光罩的投入。

晶片帶來的改變

圍繞單一工作負載而設計。

  1. 數值格式

    依您的精度目標選擇數值格式,包括 INT8、FP8 等低精度格式。

  2. 記憶體

    晶片內 SRAM 與外部記憶體依頻寬規劃,而不只看容量。

  3. 運算陣列

    MAC 陣列、乘法器、加法器樹與管線暫存器,正是全客製化設計最能發揮的地方。

  4. 軟體路徑

    在 RTL 開始之前就確定編譯器與執行環境的方案,讓晶片從第一天起就能執行您的工作負載。

路線

五個步驟,第一步先在紙上完成。

  1. 可行性研究

    用您的數字檢驗這三項標準。

  2. 架構與效能模型

    建立晶片模型,並與您在 GPU 上的實測結果對照。

  3. RTL 與 FPGA 原型

    撰寫並驗證 RTL,產品有需要時,在 FPGA 上驗證。

  4. 實體設計

    採用標準元件流程,效益足夠的區塊改用全客製化設計。

  5. 設計定案與生產

    光罩資料、交接晶圓代工廠,接著是生產與供應。

關於從 GPU 轉向 ASIC 的常見問題

ASIC 什麼時候勝過 GPU?

當一項穩定的工作負載以很大的量執行時。模型或演算法還在變動的階段,GPU 是合適的工具;等它穩定下來、量也到了,專用晶片能以更低的功耗與成本完成同樣的工作。

只適用於 AI 嗎?

不是。任何固定、運算量大、反覆執行的運算都是同樣的道理:推論、視訊與訊號處理、搜尋、模擬核心。AI 推論是目前最常見的情況。

我們必須放棄 GPU 嗎?

不必。多數團隊保留 GPU 做開發,以及處理仍在變動的工作負載,只把已經穩定、量大的部分移到晶片上。

你們在哪些製程上設計?

台積電 16 nm、12 nm、7 nm 與 6 nm FinFET 節點。我們是台積電直接客戶(Direct Account)。

設計歸誰所有?

設計及其資料的所有權,在每個專案的合約中約定。

GPU 帳單主要花在一項工作負載上?

告訴我們這項工作負載、它的量,以及目前的成本。

  1. 填寫專案表單
  2. 我們會在幾個工作天內以電子郵件回覆
  3. 啟動服務:保密協議、設計審查與分階段計畫

表單是與我們聯絡最快的方式,每一份需求都由專人閱讀。