(網(wǎng)經(jīng)社訊)浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院朱強(qiáng)教授的《DeepSeek技術(shù)溯源及前沿探索》解讀來了。這是正經(jīng)的計(jì)算機(jī)科班的解讀。該報(bào)告主要是介紹大模型的發(fā)展歷程和技術(shù)原理，分為五部分，從語(yǔ)言模型、Transformer架構(gòu)、chatGPT一直講到DeepSeek，并對(duì)新一代智能體進(jìn)行前沿展望。
一、語(yǔ)言模型
1.語(yǔ)言模型的基本任務(wù)是計(jì)算詞序列成為一句話的概率。報(bào)告從早期的統(tǒng)計(jì)方法（如N-gram）到基于神經(jīng)網(wǎng)絡(luò)的LSTM/GRU，再到Transformer架構(gòu)的演進(jìn)進(jìn)行了詳細(xì)講解。
2.Word Embedding：通過低維詞向量表示單詞，使得語(yǔ)義相近的單詞在向量空間中距離相近。報(bào)告還介紹了One-hot Encoding的局限性，并展示了Word Embedding如何解決這些問題。
二、Transformer架構(gòu)
1.Transformer是當(dāng)前大模型的技術(shù)基座，其核心創(chuàng)新在于自注意力機(jī)制（Self-Attention）和多頭注意力機(jī)制（Multi-Head Attention），這些機(jī)制使得模型能夠并行計(jì)算并捕捉全局上下文信息。
2.報(bào)告詳細(xì)解釋了Transformer的訓(xùn)練機(jī)制，特別是如何通過Query、Key、Value的機(jī)制來實(shí)現(xiàn)對(duì)文本的理解和處理。
三、ChatGPT
1.ChatGPT是基于GPT-3.5的模型，通過人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行微調(diào)，使其能夠生成翔實(shí)、公正的回應(yīng)，并拒絕不當(dāng)問題。
2.報(bào)告還介紹了ChatGPT的技術(shù)演進(jìn)路徑，從GPT-3到GPT-3.5，再到ChatGPT的推出，展示了其在生成、創(chuàng)造和上下文學(xué)習(xí)方面的強(qiáng)大能力。
四、DeepSeek技術(shù)
1.DeepSeek是浙江大學(xué)自主研發(fā)的大模型技術(shù)，報(bào)告詳細(xì)介紹了其技術(shù)演進(jìn)路徑，從DeepSeek-V3到DeepSeek-R1，再到DeepSeek-R1-Distill。
2.DeepSeek-V3對(duì)標(biāo)GPT-4，采用了混合專家模型（MoE）和極致的工程優(yōu)化，顯著提升了模型的推理能力和訓(xùn)練效率。
3.DeepSeek-R1則通過強(qiáng)化學(xué)習(xí)和規(guī)則獎(jiǎng)勵(lì)機(jī)制，進(jìn)一步提升了模型的推理能力，特別是在數(shù)學(xué)和編程任務(wù)上的表現(xiàn)。
五、新一代智能體
報(bào)告探討了從大語(yǔ)言模型（LLM）到智能體（Agent）的演進(jìn)，強(qiáng)調(diào)了智能體的核心能力是邏輯推理（系統(tǒng)2），并介紹了智能體在任務(wù)規(guī)劃、工具使用和記憶管理方面的能力。
