圖靈學院內的文章包含三大主題:ESG浄零實驗室、AI實驗室及精實管理實驗室,我們會不定期分享相關主題之文章,也歡迎並對前述主題有興趣的學員投稿分享您的見解  (我要投稿)

給生成式 AI初學者的八堂課

Lesson 2 : 了解機器學習(Understanding Machine Learning)

 

圖靈學院/科楠/2024年8月1日

 

    在這篇文章的第二部分,我們將深入了解機器學習(Machine Learning,簡稱ML)。機器學習是人工智慧(AI)的一個子領域,專注於使機器能夠從數據中學習和改進。我們將解釋機器學習的基本原理、主要類型(監督學習、非監督學習和強化學習)以及一些常見的應用場景,並利用一些數學模型來解釋。

 

機器學習的基本原理

 

機器學習的核心思想是讓機器從數據中學習,而不是通過明確的編程來執行特定任務。這意味著,機器學習模型通過分析和識別數據中的模式來進行預測或決策。這種方法的優勢在於,隨著數據量的增加和質量的提升,機器學習模型可以自我改進,變得更加精確和可靠。

 

數學上,機器學習模型可以被視為從輸入空間X到輸出空間Y 的一個映射 ,其中 X是特徵向量,Y 是標籤或目標值。機器學習的目標是找到一個最佳的映射 f ,使得對於新的輸入 ,模型   能夠準確預測對應的輸出

 

監督學習

監督學習是最常見的機器學習方法。在監督學習中,模型學習自標註數據集,即每個輸入數據都有一個對應的標籤。目標是學習輸入數據與標籤之間的關係,從而在遇到新數據時能夠做出正確的預測。

 

數學上,監督學習可以表示為給定一組訓練樣本,其中 是特徵向量, 是標籤。目標是找到一個函數 f,使得 對於所有的訓練樣本i都成立。

常見的監督學習算法包括線性迴歸、邏輯迴歸和支持向量機(SVM)。

 

  • 線性迴歸:線性迴歸模型假設輸出 y 是輸入x 的線性組合,即 ,其中 w 是權重向量, b是偏置項。通過最小化均方誤差(MSE),可以找到最佳的w 和 b。

  • 邏輯迴歸:邏輯迴歸模型用於分類問題,假設輸出 y是輸入 x 的邏輯函數(sigmoid function)的結果,即 ,其中 。通過最小化交叉熵損失,可以找到最佳的w 和 b。

 

  • 支持向量機(SVM):SVM尋找一個超平面來分隔不同類別的數據點。目標是最大化分類間隔,即超平面到最近數據點的距離。這可以通過求解以下優化問題來實現:

 

 

非監督學習

 

非監督學習使用未標註的數據,即輸入數據沒有對應的標籤。目標是從數據中發現隱含的模式或結構。非監督學習主要包括聚類和降維。

 

  • 聚類:聚類任務是將數據分組,使得同一組內的數據相似度高,而不同組之間的數據相似度低。常見的聚類算法包括K-means和層次聚類。
  •   K-means聚類:K-means聚類通過最小化簇內距離平方和來分組數據。具體來說,給定K個初始簇中心,重複以下步驟直到收斂:

    1. 將每個數據點分配到最近的簇中心。
    2. 計算每個簇的均值,並將簇中心更新為該均值。

 

  其中 是第 j 個簇的中心。

  • 降維:降維任務是將高維數據轉化為低維表示,同時保留數據的重要資訊。常見的降維算法包括主成分分析(PCA)和t-SNE。
  •   主成分分析(PCA):PCA通過尋找數據的主要方向(主成分)來減少維度。數學上,PCA通過對數據的協方差矩陣進行特徵值分解來找到主成分。

  然後選擇前 k 個最大特徵值對應的特徵向量作為主成分。

 

強化學習

 

 

強化學習是一種基於獎勵和懲罰的學習方法。在強化學習中,智能體(agent)在環境中進行行動,根據行動的結果獲得獎勵或懲罰。目標是學習一個策略,使得智能體在長期內獲得最大的累積獎勵。

數學上,強化學習可以表示為馬爾可夫決策過程(MDP),其中包括狀態空間 S 、行動空間  A 、轉移概率 和獎勵函數 。智能體的目標是找到一個策略,使得累積獎勵 最大化,其中 是折扣因子。

  • Q學習:Q學習是一種無模型強化學習算法,它學習狀態-行動值函數 ,表示在狀態 s 下執行行動 a 的預期累積獎勵。更新公式如下:

 

  其中 是學習率, 是當前獎勵, s'  是行動 a 後的新狀態。

 

自然語言處理(NLP)

 

自然語言處理(NLP)涉及機器學習用來理解、

解釋和生成人類語言的技術。NLP中的許多模型依賴於數學和統計方法來處理語言數據。

 

  • 詞嵌入(Word Embeddings):詞嵌入是一種將詞彙轉化為數值向量的技術,使得語義相似的詞在向量空間中距離較近。常見的詞嵌入方法包括Word2Vec和GloVe。
  •  Word2Vec:Word2Vec通過訓練一個神經網絡來預測給定詞彙的上下文詞彙,從而學習詞彙的向量表示。兩種常見的模型是連續詞袋模型(CBOW)和跳字模型(Skip-gram)。

 

  其中 是當前詞彙,是上下文詞彙,c 是上下文窗口大小。

  • 序列模型:處理語言數據時,考慮到詞序很重要。常用的序列模型包括長短期記憶(LSTM)網絡和變壓器(Transformer)。
  •  LSTM:LSTM是一種改進的遞歸神經網絡(RNN),可以有效處理長期依賴問題。LSTM單元包含記憶細胞、輸入門、遺忘門和輸出門,用於控制資訊的流動。

 

  其中 是隱藏狀態, 是記憶細胞狀態, 是輸出門, 表示元素乘法。

  •  變壓器(Transformer):變壓器模型使用自注意力機制來處理序列數據,克服了RNN的長期依賴問題。變壓器由編碼器和解碼器組成,每個編碼器和解碼器由多頭自注意力和前饋神經網絡層組成。

  其中 Q、K 和 V 分別是查詢、鍵和值矩陣, 是鍵的維度。

 

機器學習的常見應用場景

 

機器學習在現代社會中的應用非常廣泛,以下是一些常見的應用場景:

 

1. 圖像識別

圖像識別是機器學習的一個重要應用領域。從面部識別到醫學影像分析,機器學習模型能夠自動識別和分類圖像中的物體。例如,醫療診斷系統可以通過分析X光片或MRI圖像來檢測疾病,如癌症或腦出血。

 

2. 自然語言處理(NLP)

自然語言處理涉及機器學習用來理解、解釋和生成人類語言的技術。應用包括機器翻譯、語音識別和聊天機器人。例如,Google翻譯可以自動將一種語言翻譯成另一種語言,而Siri和Alexa則能夠理解和回應語音指令。

 

3. 推薦系統

推薦系統使用機器學習來提供個性化建議。從電影和音樂推薦到購物和新聞推薦,這些系統能夠根據用戶的歷史行為和偏好來推薦相關內容。例如,Netflix根據用戶的觀看歷史推薦電影,Amazon根據購物記錄推薦產品。

 

4. 金融科技

機器學習在金融科技中的應用包括風險管理、欺詐檢測和算法交易。這些應用可以幫助金融機構識別潛在的風險和欺詐行為,並根據市場趨勢進行自動交易。例如,信用卡欺詐檢測系統可以通過分析交易數據來識別異常行為,防止欺詐發生。

 

5. 醫療保健

在醫療保健領域,機器學習用於診斷疾病、預測患者病情和個性化治療方案。例如,通過分析患者的基因數據和病歷記錄,機器學習模型可以預測疾病風險,並提供個性化的治療建議。此外,遠程醫療系統可以利用機器學習進行遠程診斷和監控,提供更便捷的醫療服務。

 

6. 自動駕駛

自動駕駛汽車是機器學習的一個前沿應用。這些汽車配備了多種傳感器,如攝像頭、雷達和激光雷達,來感知周圍環境。機器學習模型通過分析這些感知數據來做出駕駛決策,如加速、減速和轉向,從而實現無人駕駛。特斯拉、谷歌和其他公司正在積極開發和測試自動駕駛技術,以提高交通安全和效率。

 

7. 工業自動化

機器學習在工業自動化中的應用包括設備維護、質量控制和生產優化。通過分析生產數據,機器學習模型可以預測設備故障,優化生產流程,提高生產效率。例如,工廠可以使用機器學習來監測設備運行狀況,及時發現並修復潛在故障,避免生產中斷。

 

 

機器學習的挑戰和未來展望

 

儘管機器學習在各個領域取得了顯著進展,但仍面臨一些挑戰。首先,機器學習模型需要大量高質量的數據來進行訓練,數據的獲取和標註成本高昂。此外,機器學習模型的解釋性和透明性問題也備受關注,特別是在涉及到安全和倫理的應用中。

 

未來,隨著計算能力的進一步提升和算法的改進,機器學習有望在更多領域發揮更大的作用。例如,聯邦學習是一種新興的機器學習方法,它允許多個參與方在保護數據隱私的前提下共同訓練模型,這將在醫療、金融和其他敏感領域帶來新的突破。

 

通過理解機器學習的基本原理和數學模型,我們可以更好地應用這些技術來解決各種實際問題。隨著技術的不斷進步,機器學習將在更多領域發揮更大的作用,帶來更多創新和變革。

 

Back to Lesson 1 給生成式 AI初學者的八堂課

Next: Lesson 3 深度學習基礎