對於老黃GTC到底想幹啥 可以參照底下演講 這演講其實點出很多很重要的關鍵概念 尤其是19:15那邊 你可以把語速調回0.75倍變為正常速度 19:15其實那邊就是layout AI Foundry那個pdf RAG延伸版概念 (註1) https://www.youtube.com/watch?v=ER4xNhSVJ2c
老黃的優點就是他擅長拿別人的好主意整合到自己商業模式 從以前蘇媽HBM到台積代工 甚至turnkey solution 現在則是用張忠謀代工模式+自己生態圈打造AI as a Service 遙想一下以後的未來 你手上有你這個產業才有的數據 你想用AI來幫助你解決一些問題 這時候你可以 1.花一堆錢雇用做AI相關的人 然後幫你處理數據 然後用算力掃描 這些大量數據 接者你昂貴的AI工程師會跟你說 誒誒誒 那個訓練出來結果不太對 learning rate到10e-6時 curve沒辦法再更下去了 performance好像會overfit 我換另外一個2B foundation model試試看 歐歐 等等 我用的GPU好容易gradient overflow 或者誒誒 這邊有100多種Foundation Model我不確定哪個好 讓我一個個試 又或者那個算力不夠 我得把GPU數量提高到1000但我不是用NVDA的 所以系統給我crash 讓我找GPU廠商去修 又或者好不容易fine-tune完成(客製化模型) 要到deploy時 誒誒誒 那個系統又崩了 因為他無法查詢數量超過一萬個以上藥物 但此時老黃會跟你說 其實你不用自己造輪子 我這邊手上有全世界最好的AI工程師 這邊是我們的包算力方案 我們會協助你用我們AI資料庫裡面Foundation Model 來根據你數據做Fine-tuning你想要針對某組DNA去探討藥物效果 沒問題 fine-tuing訓練過程有任何問題 我們這邊會派駐場AI工程師線上協助你們 什麼算力不夠 好 這邊是我們的H700套餐 歐歐歐 你想在infernece上可以支援上萬組藥物效用查詢 好 這邊是我們AI加速SQL套餐 歐歐歐 什麼 你想一個inference系統能支援各種國家 數萬個科學家和資料庫的搜尋 沒問題 這邊是我們超巨大雲端系統 有最快的連網速度 價位是xxxxxxx 所以AI Foundry最大意義 就是降低這個AI落地門檻 利用自家生態圈 在training/inference搭配雲端整合和自家傑出工程師 幫你代工AI商業模式 就像當年台積電把ic設計 把這門檻降低(以前AMD/Intel都要自己養一個晶圓工廠) 也像是當年聯發科把手機系統廠門檻降低 任何白牌照抄聯發科turnkey solution 而每次底下廠商陪你練功(Fune-tune)久了也知道如何去客製化AI落地產品(Fine-uning) 就像當年聯發科的Turneky solution你要的軟體硬體都會有人幫妳弄了 也像是蘋果和台積駐場工程師一起看設計圖(數據)搭配不同算力(3nm/5nm/7nm) 提出方案 要知道你在美國你還找得到一些不錯AI詠唱師跟你一起搞第一套方案 如果沒有長期玩過AI鍊金術這玩意 你在訓練大模型 很容易會訓練失敗..尤其台灣 到現在都還沒A100..像台灣現在想搞個數位醫生自動看診(我知道華碩和各醫院有在搞) 那個搭建門檻是無敵的高 我之前看到他們開的AI工程師月薪x萬元 ...幫台灣QQ AI三重點 數據 算力 算法 要知道 數據這玩意是搶不走的 老黃有後面兩個 所以NVDA更不像當年聯電可以抄上游設計廠商架構然後自己去搶市場 當年思科還停留 在賣鏟子 老黃已經進階到賣系統生態圈整個大架構 幫你實現你的AI點子 只要你有數據 所以GTC兩重點 BlackWell和AI Foundry 後者瞄準的是要提供給所有中小企業解鎖門檻 讓全世界中小企業自家數據打造能客製化賺錢產物 更別說上面老黃演講還講了 Conitnuious Training->Inference->Training->Inference這種完全不讓其他廠商搶蛋糕 的系統模式 所以接下來財報觀察重點就是 要觀察AI代工這概念是否能起飛 張忠謀當年花了20多年讓晶圓代工解鎖ic設計門檻 老黃不知道會花多少年來解鎖AI 入門落地門檻 以AI as a Service連到Inference落地化 這個章節是這次GTC主題 全面產業 機器人 金融 法律 醫療 藥物 所有提高生產力工具 只需要有數據 不管是硬體 軟體 訓練 或 推論 又或者客製化AI煉金術的訓練參數 老黃NVDA通通給你! 當年cisco還停留在賣鏟子 下游廠商自己搭建軟體業務 老黃已經走出這個階段 開始販賣軟體硬體整合服務了QQ -- QQ 等我有錢 我會去老黃那下單 弄個數位版a33 24小時常駐股版 來振奮多軍!!! -- 註1 RTX Chat https://www.youtube.com/watch?v=Hwn49QenXWg
https://www.youtube.com/watch?v=fc_NSAu41b0
補一個用multi-modal foundation model在醫療運用案例 https://www.youtube.com/watch?v=N3wJwz97b8A
※ 引述《LDPC (Channel Coding)》之銘言: : GTC就要開始了 禮拜一早上是最後賭盤下注的時間 忘記哪邊統計過GTC以來 : 只有一次股票沒漲過 平均股價在GTC期間會漲5% : 如果有興趣一些接下來AI落地走向 可以參考此talk 裡面滿多資訊 : https://www.youtube.com/watch?v=QNn0XJ3Ev7o
: 最主要的takeaway就是老黃已經有商業部門在面向企業部門販賣AI as a Service : 稱之為AI Foundry (細節參照 https://zhuanlan.zhihu.com/p/670193221 ) : AI三大焦點 資料 算法 算力 接下來所有大部分AI產業都會圍繞資料這塊 : https://www.eetrend.com/content/2023/100576059 : AI Foundry大體而言可理解如下 : 企業內部私密資料 透過老黃販賣的Foundation Model : 能客製化(fine-tune)變成專門服務企業自有AI生產力工具 能封閉私密加速企業生產力 : 像是Nemo可以給HR/Legal/Finance/Accounting部門 以前需要多語專業會計或Legal人員 : 都可以被用AI Foundry模式簡化人力甚至增加工作範圍影響力 : 其他還有針對虛擬空間生產力幫助影音生產業者 而各企業資料(Data) : 會變成Content Creation的生產工具 : 接下來所有各產業AI落地重點 就是如何提供基礎大模型客製化給顧客企業增加生產力 : 這意味者所有以前Saleforce所要做的雲端生產力工具 會透過AI Foundry面向全世界 : 中小企業 藉由大模型透過各企業自己產業數據特制化 這也意味者老黃有機會綁著自家 : Inference一套設備 透過AI Foundry販賣給企業...醫療 生藥 電影 財經 法務 : 這是個全面性的很有野心的生產力Turn-key solution藍圖 : 但對一般來說小老百姓 這類的AI落地 是我們無法感受到的 : 這也意味AI落地化 個人生產力部分應該會在企業生產力之後 : QQ...簡言之 老黃已經不在只滿足賣鏟子了 他要搶雲端生產力工具了 會搭配軟體端下手 : 禮拜一我應該會做近期最後一次加碼了 如果接下來老黃會在GTC講他要的遠景 : 諸如AI網路基建和軟體應用在企業端的生產力特製化AI服務 那NVDA前景一光明 : 反之 如果不是像網路上這些前期資料 那我們大家公園見!!QQ -- ※ 發信站: 批踢踢實業坊(ptt-website.tw), 來自: 24.4.211.194 (美國) ※ 文章網址: https://ptt-website.tw/Stock/M.1711257904.A.580
tocks2010 : 問就是相信美國黃董 03/24 13:28
wuyiulin : 人肉版a33瑟瑟發抖,他覺得自己要失業了。 03/24 13:29
a210510 : 看來用ai圖聊天的日子也不遠了 03/24 13:29
rebel : 你說的是不是ASIC 的概念?但這塊不好做耶 需要大 03/24 13:31
rebel : 量懂各產業的AE 是個體力活 在NVDA光硬體就還有高 03/24 13:31
punjab: 包養平台找到心靈契合的人。 03/24 13:31
rebel : 毛利下 我不覺得會把RD 擺到這塊 反而是PLTR 比較 03/24 13:31
rebel : 像專門搞這塊 03/24 13:31
hinanaitenco: 太難了 各種數據型態差異過大 不太相信可以低廉到 03/24 13:36
hinanaitenco: 成為服務 03/24 13:36
ck326 : 我先幫華碩工程師掬一把同情之類,真的可悲的薪水 03/24 13:39
sashare: 包養分析洞悉對方心思。 03/24 13:39
ProTrader : 簡單說AI要落地第一站明確就是往企業用戶發展 03/24 13:42
ProTrader : 目前最有利的就是微軟Office原本的企業用戶功能升級 03/24 13:43
ProTrader : 當然這還是無法讓AI深入客戶企業內部 03/24 13:44
ProTrader : 原po內文說的就是如何讓企業真正導入AI成為AI公司 03/24 13:46
strlen : 自己搞AI基建成本遠高於直接尻輝達方案時生意就成啦 03/24 13:46
sijiex: 包養不急於開始談感情。 03/24 13:46
strlen : 大廠有錢當然自己基建 中小或非科技業哪有辦法 03/24 13:47
ProTrader : 台灣最常聽到的對應名詞應該是工業4.0 智慧工廠 03/24 13:47
ProTrader : 如何讓企業導入AI 是現在AI龍頭與AI新創的共同目標 03/24 13:48
ProTrader : 目前我認為最有搞頭的應該是亞馬遜小模型的想法 03/24 13:49
ProTrader : 也就是用小模型直接降低門檻 然後針對企業直接需求 03/24 13:50
VLADINA: 包養網結交跨國友誼。 03/24 13:50
ProTrader : 我看各AI新創主要也是往這個方向 拼演算法競爭力 03/24 13:51
ProTrader : 其次的做法就是幫企業導入現成大模型幫忙特化調整 03/24 13:52
s987692 : 阿就跟cloud搶肉吃,就看會不會噎到了 03/24 13:53
ProTrader : 這個做法AI基建門檻較高 主要是拼現成模型應用能力 03/24 13:54
EvilSD : 我搞AI落地好幾年 有價值的領域現在還太少 而且落地 03/24 13:55
odemagus: 包養開心找到知心朋友。 03/24 13:55
EvilSD : 最大的問題其實還是現場環境 因為台灣大多都是工廠 03/24 13:55
EvilSD : 居多 03/24 13:55
ProTrader : 這種做法客戶端要大公司 AI公司也要夠大比較能拼 03/24 13:55
EvilSD : 但可能有幾個場域是在軟體端 例如各公司的客製化cha 03/24 13:56
EvilSD : tgpt,這在目前算是比較有通用型價值的領域了 03/24 13:56
yes500: 包養平台關注對方需求。 03/24 13:56
ProTrader : 如果針對台灣的工廠 入門要有自己的AIoT取得資料 03/24 13:57
moike22 : 老黃包圍網來惹 03/24 13:57
ProTrader : 特調chatgpt做成自己產品也是一條路AI新創的路 03/24 13:57
EvilSD : 再來就是資料問題 基本上不是私有架構或是私有雲 03/24 13:58
EvilSD : 都很難有搞頭 03/24 13:58
alexantiy: 包養分析觀察約會狀態。 03/24 13:58
ProTrader : 有價值的場域很多 但是入門的數位化門檻太高 03/24 13:58
ProTrader : 台灣或世界上很多公司連前提數位化都沒達成 03/24 13:59
ProTrader : 達成數位化門檻後才有資格說資料問題 03/24 14:00
EvilSD : 說到數位化其實台灣工廠數位化應該是世界第一 03/24 14:00
EvilSD : 這幾年都是老外跟不上再找我們取經 03/24 14:01
sowrey: 包養真心珍惜友誼情感。 03/24 14:01
ProTrader : 資料問題是全都是非結構化或半結構化根本不能用 03/24 14:01
ProTrader : 今天要導入AI最基礎的特徵工程 就直接撞牆了 03/24 14:02
ProTrader : 簡單說就是有產業對應數位化與導入AI的人才太少 03/24 14:03
ProTrader : 接著說道AI人才 看看台灣開出來的薪水 03/24 14:04
ProTrader : 最直接的例子就是台積電的智慧製造工程師 03/24 14:05
cw758: 包養網認識來自世界各地的朋友。 03/24 14:05
ProTrader : 坦白說實在很難想像以台積電今日地位還是搞成那樣 03/24 14:06
bnn : 其實就是 這鬼東西能給美國壟斷嗎 其他國要不要搞 03/24 14:06
ProTrader : AI要落地我覺得最大門檻是產業數位化與相關人才 03/24 14:07
bnn : 晶圓廠當年也沒人覺得會搞成壟斷到現在要各地搬家 03/24 14:07
ProTrader : 現階段來說 談大模型小模型公有雲私有雲還有點早 03/24 14:08
ludi: 包養輕鬆找到有趣的人。 03/24 14:08
bnn : 那現在各國看著製造都被卡脖子了 誰真敢放AI壟斷 03/24 14:09
ProTrader : 如果以台積電的模式 那是做到客戶的產業專業顧問 03/24 14:09
ProTrader : 而且台積電的顧問水準可是業界頂尖 03/24 14:10
ProTrader : 完全碾壓檯面上的大型顧問公司 03/24 14:10
ProTrader : 以這個前例就是看輝達亞馬遜誰能達到這個水準 03/24 14:11
peernut: 包養平台找到心儀對象。 03/24 14:11
ProTrader : 微軟也是 不過我猜微軟會從office的專業性切入 03/24 14:13
ProTrader : 也就是說誰是客戶最強的產業數位與智慧化專業顧問 03/24 14:14
ProTrader : 那就是最後贏家我猜最後非一家獨大會有各產業山頭 03/24 14:16
goodlay5566 : 畫餅功力不錯 03/24 14:17
ookimoo : 餅太大,商業化太小, NVDA下去200-300 03/24 14:17
xikimi: 包養分析了解對方想法。 03/24 14:17
waitrop : 跟我老闆在performance review時畫餅 有夠像的 03/24 14:18
motan : 現在都在拼saas,看誰先取得先機 03/24 14:19
ck326 : 老闆的工作本來就是畫餅啊 03/24 14:22
AGODC : 其實只要一個邏輯就好了,一個佈局GPU運算2-30年的 03/24 14:23
AGODC : 人,從快破產到終於走到打敗全部GPU,到達公司市值2 03/24 14:23
Avero: 包養不急於著手感情發展。 03/24 14:23
AGODC : 兆鎂的今天,你覺得這種人有可能沒堵好洞,留後門給 03/24 14:23
AGODC : 別人反超的機會?如果有,那在小公司時早被淘汰了 03/24 14:23
abccbaandy : 推61F,真的超像的...吹一堆,這種能搞成AWS那種 03/24 14:31
AGODC : 黃董說的,就算晶片免費,還是比NV貴,因為人家已經 03/24 14:32
AGODC : 把很多工作都整合進去,你一般公司就是直接買算力買 03/24 14:32
ejoz: 包養網結交全球友人。 03/24 14:32
AGODC : 服務,別想著自己搞特規,最終只會落個特貴的下場 03/24 14:32
abccbaandy : 就很不錯了,太細節還是自家工程師吧 03/24 14:32
Cliffx : 這樣AMD是不是有危險 03/24 14:34
clusis : 營收才剛起步 03/24 14:45
ProTrader : 台積電的cuLitho能大幅度增加光罩產升速度降低成本 03/24 14:50
FishRoom: 包養開心找到知心朋友。 03/24 14:50
ProTrader : 在這之中輝達也是很重要的合作夥伴 03/24 14:51
ProTrader : 老黃也不是完全唬爛 輝達是真的有戰績 03/24 14:51
huk40199 : 有啊最近現場落地就是cuLitho啊 03/24 14:51
huk40199 : 這葛很恐怖der 03/24 14:52
ProTrader : 當然最後AI落地能讓輝達賺多少 還要繼續觀察就是 03/24 14:52
KsiR: 包養平台警惕網路詐騙。 03/24 14:52
huk40199 : 喔上面有人講了抱歉 03/24 14:52
ProTrader : 因為這是目前最能說嘴的例子 所以幾乎同時推文XD 03/24 14:54