AI與記憶體有什麼關係？來自記憶體的重重高牆
日期：2020/02/20
文：Y.C. Lo / 校稿: B.H. Huang
閱讀程度：中級
閱讀時間：10 min
如果你是個資深的科幻電影迷，那麼或許你曾看過《魔鬼終結者》這部老電影，電影中人類賦予了機器智慧，而獲得了學習能力的機器卻覺醒了自我意識，最終成為想要毀滅人類的終極反派。如今這部由36年前的電影所架空的世界，也有部分正在成為現實，近年來由於機器學習的發展，以及大數據科學的興起，人工智慧 AI 也開始蓬勃地發展。《二十一世紀的二十一堂課》一書中，作者哈拉瑞更直言未來AI將取代人類。
然而如果 AI 要大舉取代人類的工作，似乎還有很長的一段路要走，由記憶體頻寬築成的高牆 (Memory Wall) 正大大限制著AI的發展，以及目前的運算效能。究竟是怎麼一回事呢？這回就讓SemiKnow向讀者介紹，只有內行人才知道的，記憶體與AI發展的關係吧！
記憶體與人工智慧的共生關係
在《台灣的半導體教父—施敏》這篇文章中，我們曾藉由施敏老師向讀者介紹了記憶體電路的分類，分為斷電後資料可以繼續保存的非揮發性記憶體，以及斷電資料消失的揮發性記憶體。近年來由於半導體製程的進步，我們已經可以在晶片當中塞入更多的記憶體電路，容量的提升也使得我們可以在電腦、手機中放入更多的有趣梗圖、可愛貓貓照（OwO）與網美照。
當然的記憶體容量的提升，也是AI運算重要推手，在AI的神經網絡中，擁有非常多的參數，經由一層層的乘法加法運算，推論 (Inference)出結果，這個過程可以是台北市今天會不會下雨，或者是語音助理推論出人類語意。讀到這裡，或許聰明的讀者已經想到了，那麼這些巨量的參數儲存在哪而呢？沒錯，正是記憶體。
共生關係之一：AI的模型參數都儲存在記憶體中在AI推論的過程中，運算單元必須時常地跟記憶體要求拿資料，或者將運算的結果放進記憶體，這也因此延伸出了一個重要的問題：那運算單元一秒可以向記憶體拿多少的資料呢？這也就是頻寬（Bandwidth）的概念，記憶體的頻寬越高，通常AI推論的效能也越好！
共生關係之二：AI的效能與記憶體的頻寬直接有關記憶體之牆 — The Memory Wall
當運算需求遠高於記憶體的頻寬時會發生什麼事？這正是目前我們經歷的事，也是AI的最大瓶頸，事實上記憶體的讀寫速度並沒有如同摩爾定律預測，它的成長速率已經落後於計算單元超過40年，不只是AI甚至大大限縮所有的處理器設計，這就是所謂的記憶體之牆（The Memory Wall）。
而更糟的是，由於目前市售的AI晶片都利用外部存取記憶體（運算單元與記憶體分開成兩片晶片），而非直接單晶片整合的記憶體架構，來儲存AI運算資料，這也使得在搬運資料的過程中，額外貢獻巨大功耗又減低運算效率，記憶體之牆的阻隔，顯然使得現有的AI架構弱不禁風。若以現在的AI水準來看，雖然AI可以更快的做出決策，但AI的能量效率至少還落後人腦幾十萬倍呢！
AI的瓶頸：記憶體頻寬不足，AI效能被大大限制迷思破解：人腦可是個好東西，它的能量效率是AI的幾十萬倍
這麼看來在不段提升AI的效能的同時，或許科技的發展更該研究更高效能的記憶體才有可能突破現有的難關！
結語 — What’s Next?
這一回SemiKnow向各位介紹了記憶體與AI的關係，即使這十年來積體電路的運算力受惠於積體電路的持續升級，但記憶體的緩慢進步卻讓 AI 進入另一個瓶頸，許多研究已經在悄悄地進行，例如我們台灣的驕傲—台積電以及一些記憶體廠商，已經利用先進製程封裝技術完成3D堆疊架構的記憶體，使得外部記憶體的頻寬大大增高，新的記憶體如鐵電性、磁性、電阻式記憶體（FeRAM, MRAM, RRAM）也正在研發當中，甚至已經快要進入量產階段，記憶體內運算（In-Memory Computing）的研究試圖降低搬運資料的次數提高效能…等等。
另外偷偷跟大家說，可以關注一下DRAM記憶體模組的股票XDDD e.g.南亞科...等等
但投資股票有賺有賠，賠錢不要找SemiKnow (OwOb)此次向讀者簡單介紹，AI與記憶體的共生關係，未來有機會的話SemiKnow也會帶給大家更多有關記憶體的知識，希望讀者可以好好期待一下><
我們是 SemiKnow，下次見！
謝謝看完這篇文的你
看完這篇文，可以幫我們按 5下clap！
看完而且喜歡的話，可以幫我們按 15下clap！
如果想看我們繼續寫更多文章的話，直接拍到 25下吧！
最後想了解更多 SemiKnow 的話，歡迎追蹤按讚我們的粉絲專頁：
本文章由SemiKnow半知半解所有，如需轉載請來信告知semiknow.official@gmail.com，如未經同意隨意修改文章發佈視為抄襲剽竊，請不要挑戰智慧財產權謝謝！
