Transformer 內建電腦：2D 注意力如何讓 LLM 直接執行程式
Percepta 團隊在標準 Transformer 內部建造了一台 RAM 電腦，透過 2D 注意力頭與凸包查詢實現 O(log t) 解碼，讓模型直接執行 WebAssembly 程式。解析 Exponentially Fast Attention 的技術原理、HullKVCache 的 75 倍加速，以及從工具使用到模型內執行的範式轉移。
屬於 “Machine Learning” 標籤的文章
查看所有標籤
共有 5 篇文章
台灣客語方言感知 ASR：73 小時語音資料如何教會機器分辨消亡中的方言
深入解析 Peng 等人提出的台灣客語方言感知 ASR 框架，探討 RNN-T 搭配 Zipformer 編碼器如何透過多任務學習、梯度反轉對抗訓練、Token-Interleaved Conditioning 等方言建模策略，在 73.91 小時 HAT 語料庫上達成 57% 相對錯誤率降低。涵蓋客語語言學處境、低資源語音辨識技術架構、方言解耦哲學，以及 AI 對語言保存的角色反思。
OR-Agent：用研究樹取代隨機突變，讓 LLM 學會像科學家一樣發現演算法
深入解析 OR-Agent 如何結合進化搜索與結構化研究樹，在 12 個組合優化 benchmark 上大幅超越 FunSearch、ReEvo 等方法。涵蓋多 Agent 分工架構、反思機制與最佳化器的類比、Population Ruin 問題、合作駕駛實驗結果，以及研究樹走訪策略的改進空間分析。
Temporal Predictive Coding：大腦如何用「預測失敗」學會聽音樂，以及 AI 能從中偷學到什麼
從 Potter & Rhodes 的 tPC RTRL 論文出發，深入探討 Predictive Coding 理論如何解釋大腦的音樂認知機制。涵蓋 Friston 自由能原理、Meyer 的音樂情感理論、Huron 的 ITPRA 模型、Salimpoor 多巴胺實驗，以及 IDyOM 計算模型與神經形態硬體的未來展望。
組合式模仿學習：為什麼 AI 學會「理解」比「背誦」更重要
深入解析 Gavenski 等人提出的 Compositional Representation Learning (CRL) 研究議程，探討模仿學習如何從軌跡重現走向組合式泛化。涵蓋行為克隆、逆強化學習、泛化邊界指標，以及 Bandura 社會學習理論與 Kolb 經驗學習循環在 AI 訓練中的應用。