① 程序員必須掌握哪些演算法
集束搜索（又名定向搜索，BeamSearch）——最佳優先搜索演算法的優化。
A*搜尋演算法——圖形搜索演算法，是最佳優先搜索的範例，從給定起點到給定終點計算出路徑。
數據壓縮——採取特定編碼方案，使用更少的位元組數（或是其他信息承載單元）對信息編碼的過程，又叫來源編碼。
離散微分演算法（Discretedifferentiation）
哈希演算法（Hashing）
堆排序（Heaps）
合並排序（MergeSort）
梯度下降（Gradientdescent）——一種數學上的最優化演算法。
牛頓法（Newton'smethod）——求非線性方程（組）零點的一種重要的迭代法。
歐幾里得演算法（Euclideanalgorithm）——計算兩個整數的最大公約數。最古老的演算法之一，出現在公元前300前歐幾里得的《幾何原本》。
Buchberger演算法——一種數學演算法，可將其視為針對單變數最大公約數求解的歐碰慧幾里得演算法和線性系虧拆統中高斯消元法的泛化。
動態規劃演算法（DynamicProgramming）——展示互相覆蓋的子問題和最優子架構演算法。
Diffie-Hellman密鑰交換演算法——一種加密協議，允許雙方在事先不了解對方的情況下，在不安全的通信信道中，共同建立共享密鑰。該密鑰以後可與一個對稱密碼一起，加密後續通訊。
Dijkstra演算法——針對沒有負值權重邊的有向圖，計算其中的單一起點最短演算法。
二分查找（BinarySearch）——在線性數組中找特定值的演算法，每個步驟去掉一半不符合要求的數據。
合並查找演算法（Union-find）——給定一組元素，該演算法常常用來把這些元素分為多個分離的、彼此不重合的組。
期望-最大演算法（Expectation-maximizationalgorithm，又名EM-Training）——在統計計算中，期望-最大演算法在概率模型中尋找可能性最大的參數估算值，其中模型依賴於未發現的潛在變數。
快速傅里葉變換（FastFouriertransform，FFT）——計算離散的傅里葉變換（DFT）及其反轉。
最大流量演算法（Maximumflow）——該演算法試圖從一個流量網路中找到最大的流。
LLL演算法（Lenstra-Lenstra-Lovaszlatticerection）——以格規約（lattice）基數為輸入，輸出短正交向量基笑空答數。
兩次篩法（QuadraticSieve）——現代整數因子分解演算法，在實踐中，是目前已知第二快的此類演算法（僅次於數域篩法NumberFieldSieve）。
RANSAC——是「RANdomSAmpleConsensus」的縮寫。該演算法根據一系列觀察得到的數據，數據中包含異常值，估算一個數學模型的參數值。
求解線性方程組（）——線性方程組是數學中最古老的問題，它們有很多應用，比如在數字信號處理、線性規劃中的估算和預測、數值分析中的非線性問題逼近等等。求解線性方程組，可以使用高斯—約當消去法（Gauss-Jordanelimination），或是柯列斯基分解（Choleskydecomposition）。
Q-learning學習演算法——這是一種通過學習動作值函數（action-valuefunction）完成的強化學習演算法，函數採取在給定狀態的給定動作，並計算出期望的效用價值，在此後遵循固定的策略。
Schönhage-Strassen演算法——在數學中，Schönhage-Strassen演算法是用來完成大整數的乘法的快速漸近演算法。其演算法復雜度為：O(Nlog(N)log(log(N)))，該演算法使用了傅里葉變換。
RSA——公鑰加密演算法。首個適用於以簽名作為加密的演算法。RSA在電商行業中仍大規模使用，大家也相信它有足夠安全長度的公鑰。
Strukturtensor演算法——應用於模式識別領域，為所有像素找出一種計算方法，看看該像素是否處於同質區域（homogenousregion），看看它是否屬於邊緣，還是是一個頂點。
單純型演算法（SimplexAlgorithm）——在數學的優化理論中，單純型演算法是常用的技術，用來找到線性規劃問題的數值解。
奇異值分解（Singularvaluedecomposition，簡稱SVD）——在線性代數中，SVD是重要的實數或復數矩陣的分解方法，在信號處理和統計中有多種應用，比如計算矩陣的偽逆矩陣（以求解最小二乘法問題）、解決超定線性系統（overdeterminedlinearsystems）、矩陣逼近、數值天氣預報等等。
維特比演算法（Viterbialgorithm）——尋找隱藏狀態最有可能序列的動態規劃演算法，這種序列被稱為維特比路徑，其結果是一系列可以觀察到的事件，特別是在隱藏的Markov模型中。
② 一個高級程序員所需要掌握的數學知識是多少
高級程序員最需要的數學知識：
算術：二進制、十進制、十六進制之間熟練轉換
邏輯知識：與、或、非、空等各種運算
概率與統計：各種報表的編制開發，數據使用挖掘等等都需要
③ 程序員需要怎樣的數學基礎
LZ不要杞人憂天了，那些說數學重要的，首先數學你會嗎？數學包含的范疇太多了，常見的有高等幾何 微積分 線性代數 概率論 離散數學 數論 圖論等等你指的是具體哪一樣呢？就算是前人科學巨匠泰鬥牛頓，毆幾里德，愛因斯坦，他也只是擅長自己從事的那領域，要說所有數學領域都精通我想他們也不敢吹這樣的牛逼。
所以對大多數人來說，在數學方面都不太可能取得什麼很深的造詣。等到你所謂的把數學學好，那鬍子都快白完了，數學是又深奧又費解學習成本巨大需要耗費大量時間學完不用立馬就忘的學科。所以說數學重要，先問問你自己能不能學會。
其次，計算機學科跟數學根本就不是一門學科， 包含內容極其有限。計算機編程有自己的理論知識體系，很多跟數學關系不大。學好編程尤其對新手來說最重要的是對你學的編程語言的熟練運用和工具SDK的爛熟於心。每個語言都有自己獨特的設計理念，不存在什麼好學的編程語言。
所以說，題主， 你想得太遠了。軟體開發需要用到的知識比數學重要的太多了。拋開計算機不說，英語比起數學的重要性就大的多的多。英語不好你看不懂函數API說明你一切就是白瞎。而數學對於大多數人來說是最難學也是最不重要的知識，基本上是學了就忘忘了就扔扔了也沒感覺的那種，很多搞編程的可能一輩子也用不到數學知識。為什麼？理解C++的指針和多態需要數學嗎？一個復雜的系統架構也不需要半點數學知識，而你就是看不懂。
還有就是程序調試技術，很多IDE給出的出錯語句非常費解，什麼指針為空，數組越界，內存溢出，SDK找不到， 你沒經驗時打死你也看不懂你的編程工具提示的是什麼。這時你那高大上的數學真是P用沒有，它能幫你排查錯誤找出程序崩掉的原因嗎？我看不行吧，你還是得到論壇網路去問人家這些基本的問題。
在你擔心數學好不好之前，你更應該關心編程環境怎麼搭建，連IDE都搞不定不知道程序怎麼跑起來你還搞什麼呀，下一步就是程序基本的語法和SDK庫函數的掌握，基本SDK都不知道什麼意思怎麼去用，如字元串函數，文件讀寫和資料庫常用操作，這些你都不會你還有學下去的必要嗎？還有更重要的更基本的程序調試技術，程序老出錯老崩潰怎麼辦呀，哪裡變數為空了內存寫錯了？為什麼程序老編不過去呀，誰能幫幫我呀!!!這個時候你發現那牛逼的數學知識真是屁用沒有，你還是感嘆自己基本功底不行經驗太少，這個時候打死你也不會再關心數學好不好的問題了。
如果說用到數學的大概只有3D游戲引擎，很智能的人工智慧，如格鬥游戲的電腦應對玩家的復雜AI，生化危機中僵屍怪物的配合商量運用策略包抄玩家和記憶功能，還有航空航天領域這樣高精尖技術學科才會用到復雜一點的數學知識。而這些都是計算機專家才要掌握的內容。所以題主你是想多了，還是先關心下自己程序為什麼編不過老是報錯的問題吧
④ 做程序員編程需要什麼數學知識，初中文化可以學嗎
1.學習方法：本人認為這比什麼都重要如果這個沒掌握的話，可能直接影響你的成敗。眾所周知。。計算機知識 尤其是編程涉及到的知識可以說浩如煙海---那麼面對這么多的知識該怎麼去學呢？
---重點：1重實踐，不要去想，把一個知識點完全徹底的掌握，那將是非常恐怖的，有編程經驗的朋友都知道，編程里每個知識點深糾起來的話是非常困難的，更不要說是新手了。。那麼知識點該掌握到什麼程度呢？ 個人認為：1-知道它是做什麼 2-知道怎麼使用。 這就足夠了。。。。不要去管他的原理是什麼，能把東西做出來才是王道。。。
---重點：2多寫， 這個在編程界可以說是真理了，真正寫程序的人都知道，一段程序你理解了並不代表你就會寫了，那麼怎麼樣才能提高「寫」的能力呢？ 本人認為要注意一下幾點 1- 練習多做是必然的。 2- 做練習時不要因為覺得代碼簡單就只看不敲，哪怕多敲一遍HelloWorld 都是有好處的。 3- 相似的代碼不要復制，我見過很多朋友，遇到兩段程序類似，就懶的敲直接粘貼過去修改。。。請記住這是軟體開發人員的做法，而你不是，目前你還只是一個學習者而已。所以 原則就是 能敲的就不要復制。
---重點:3把精力用在理解上而不要用在背上 寫程序的朋友都知道，函數---關鍵字---常用類什麼的，都非常的熟悉，為什麼我們背過嗎？沒有 寫的多了自然就記的牢了， 所以建議新手不要去死背什麼概念，或語法 一定要理解它的作用。。。
---重點:4 筆記，我認為這點很重要，我自學時全是看書，和視頻教程，然後總結對自己有用的東西。記在本上，而將來如果印象不深刻了由於是自己用自己理解的方式寫的，簡單翻一翻就能回憶起來，而如果，你忘了再去翻視頻 或 翻書的話。。那麼即使你曾經學過，也可能一時想不起來。。。
1.關於數學。。。這個問題，我覺得是目前爭論最多的話題，我見過N多人說 學編程要學XX數學---什麼微積分---什麼離散---嚇的新手連想都不敢想，我只想對這些人說一句，如果你懂，請你們幫助新手，如果你們不懂 請你們閉嘴 謝謝不要 誤人子弟。。。那麼下面我來 具體回答一下數學方面的問題。。。
1- 編程用數學嗎？ 用！ 回答是肯定的，但要看你是做哪方面的程序。 懂編程的都知道，現在編程基本分B/C構架，即：客戶端/瀏覽器端 與 C/S構架 即：客戶端/伺服器端 前者基本上就是JAVA PHP ASP.NET 等等。。。其中有多少地方用到了數學，如果還堅持沒數學學不了編程的朋友請站出來回答下我的問題。。。
至於C/S 如果不是做系統級的程序員 或 大型3D圖象處理 或者是音頻處理的軟體我請問又有多少地方用到了數學？如果你覺得x/y=z 這也算高等數學的話，我無話可說。。。。總結--除了3D等圖象處理編程 或 音頻處理編程 或系統級編程以外 其他編程對數學要求並不很高。。。。
2.關於英語， 我認為這個是個不可迴避的話題，學編程一點英語不懂我覺得不太現實，畢竟有很多文檔也是用英文寫的，而且程序員都知道，編程時經常要用簡單的英文，哪怕是定義個變數名，也要用英文起名， 沒見過哪個程序員定義的變數叫什麼aaa或bbb的。 那麼新手該怎麼面對英語呢， 我覺得很容易，按照書上或教程上去做就足夠了，1 編寫程序時 按規范要求去做，首先變數名，用見名知意思的英文單詞， 寫注釋時 也用英文短句。。。 拋異常時 也用英文來標注等等。。。。慢慢積累，時間久了你就會發現其實計算機里的英語 就只有那麼幾句而已。。。
3.關於學校 這個我也想提一下，有很多想以程序員為工作的朋友可能都考慮過找個培訓班---但我的建議是。不要去---起碼一般的不要去，為什麼？效果不好，就這么簡單，我親自到XXX著名編程培訓學校試聽過。。。結果很遺憾 一周才那麼幾天課，我3天閱讀的知識點比他們1個興趣 教的還多。。。而且上機和理論還是分開，新學的知識不能立刻上機實踐等等。。我覺得都是很嚴重的弊病。。。跟嚴重的那些所謂的學校給學生們造成了一種假象。。。只要在學校里考試合格了，出去就能做程序員，甚至軟體工程師了。。。最後他們將發現，原來他們在學校里學的 只是基礎中的基礎而已 - -
4. 自學的資料，我個人認為，自學第一重要的是 視頻教程，懂的人都知道，編程學習時重點並不完全是知識點，而是如何運用那些知識點，這也是項目經驗今天被人們這么看中的主要原因。。。所以視頻教程絕對是不二的選擇，現在網上的視頻教程非常之多 各種各樣的都有 具體怎麼找相信不用我教了 google 電驢 迅雷--我就是靠他們活過來的 。。。而且視頻教程還有一點是學校比不了的，那就是 你可以隨時看 重復看，一個知識點沒明白 你可以反復的聽10遍 20遍都沒問題， 學校恐怕就不行了吧。 另一個優點是可以在你狀態好時看， 大家都有狀態不好的時候，累了-困了 很正常，可在學校，誰管你？ 老師講完了 聽不懂你自己的問題，而視頻呢，好辦 累了 先休息一會 有精神了 想怎麼看就怎麼看。。。我覺得 找到好的視頻教程。。比任何老師都重要。。至於出現問題不懂怎麼辦？ 相信能來到著找到我這篇文章的朋友 都有辦法解決的。。
5.書 --- 我非常喜歡看視頻教程，但我堅決反對只看視頻不看書，為什麼？很簡單視頻傳授的是 寫程序的經驗 而書則是細膩的為你講解其中的原理。。所以我的建議是 先把一個知識的視頻看一遍，然後再把書翻一遍 然後自己再寫2遍 量變必然引起質變 我相信這是放之四海 而皆準的道理（指編程行業）
6.時間+態度 我認為這也很重要，很多人經常這樣問我，我1個月能學會編程么？ 我半年能成為編程高手么？ 我覺得有這樣心理的人比適合學編程。。。 學編程最忌心浮，一個知識點還沒弄明白 就想寫個項目出來 這是不可能的，這樣最後只能導致你自己喪失信心，編程要一步一步的來，相信我哪怕用一天時間才掌握了一個知識點，起碼比你用一天的時間 看完整本書強。。因為前者起碼你還是有點收獲的（指新手，老手兩天一本書很正常有經驗了嗎 - -） 這里我可以給大家一我的學習時間大家可做為參考。。。我是從0基礎開始一直到現在掌握j2ee基本所有的基礎開發技能 用時一年半，本人覺得不算慢 每天最少看書+練習5小時 每天不停這個是我的進度。
⑤ 作為一名合格的程序員，請問需要掌握哪些數學知識，學到什麼樣的水平
程序員的知識是多方面的， 數學方面至少高等數學大專以上文化程度，概率統計,數字邏輯運算方面的知識，主要就是做哪一方面的程序設計，有些學過的可能長期也不用，搞科學研究的、游戲、智能軟體開發、安全方面的要求就高一些，沒有一定數學基礎有些演算法書就讀不懂，搞社會一般應用的要求相對較低一些，這些只是常識，程序員關鍵一點把一門課及相關知識精通，可以把用戶提出的問題很快的自己能夠理解，轉換成計算機處理方式，成為軟體或網站，而且和用戶的需求基本一致。當然有些人的數學水平並不高，設計出的軟體人人愛用，水平很高，程序員的知識包括數學方面的知識也在不斷充實更新中。
⑥ 程序員必備的一些數學基礎知識
作為一個標準的程序員，應該有一些基本的數學素養，尤其現在很多人在學習人工智慧相關知識，想抓住一波人工智慧的機會。很多程序員可能連這樣一些基礎的數學問題都回答不上來。
作為一個傲嬌的程序員，應該要掌握這些數學基礎知識，才更有可能碼出一個偉大的產品。
向量 向量（vector）是由一組實數組成的有序數組，同時具有大小和方向。一個n維向量a是由n個有序實數組成，表示為 a = [a1, a2, · · · , an]
矩陣
線性映射 矩陣通常表示一個n維線性空間v到m維線性空間w的一個映射f: v -> w
註：為了書寫方便， X.T ，表示向量X的轉置。 這里： X(x1,x2,...,xn).T，y(y1,y2,...ym).T ，都是列向量。分別表示v,w兩個線性空間中的兩個向量。A(m,n)是一個 m*n 的矩陣，描述了從v到w的一個線性映射。
轉置 將矩陣行列互換。
加法 如果A和B 都為m × n的矩陣，則A和B 的加也是m × n的矩陣，其每個元素是A和B相應元素相加。 [A + B]ij = aij + bij .
乘法 如A是k × m矩陣和B 是m × n矩陣，則乘積AB 是一個k × n的矩陣。
對角矩陣 對角矩陣是一個主對角線之外的元素皆為0的矩陣。對角線上的元素可以為0或其他值。一個n × n的對角矩陣A滿足： [A]ij = 0 if i ̸= j ∀i, j ∈ {1, · · · , n}
特徵值與特徵矢量 如果一個標量λ和一個非零向量v滿足 Av = λv, 則λ和v分別稱為矩陣A的特徵值和特徵向量。
矩陣分解 一個矩陣通常可以用一些比較「簡單」的矩陣來表示，稱為矩陣分解。
奇異值分解 一個m×n的矩陣A的奇異值分解
其中U 和V 分別為m × m和n×n 的正交矩陣，Σ為m × n的對角矩陣，其對角 線上的元素稱為奇異值（singular value）。
特徵分解 一個n × n的方塊矩陣A的特徵分解（Eigendecomposition）定義為
其中Q為n × n的方塊矩陣，其每一列都為A的特徵向量，^為對角陣，其每一 個對角元素為A的特徵值。 如果A為對稱矩陣，則A可以被分解為
其中Q為正交陣。
導數 對於定義域和值域都是實數域的函數 f : R → R ，若f(x)在點x0 的某個鄰域∆x內，極限
存在，則稱函數f(x)在點x0 處可導， f'(x0) 稱為其導數，或導函數。 若函數f(x)在其定義域包含的某區間內每一個點都可導，那麼也可以說函數f(x)在這個區間內可導。連續函數不一定可導，可導函數一定連續。例如函數|x|為連續函數，但在點x = 0處不可導。
加法法則
y = f(x),z = g(x) 則
乘法法則
鏈式法則 求復合函數導數的一個法則，是在微積分中計算導數的一種常用方法。若 x ∈ R，y = g(x) ∈ R，z = f(y) ∈ R ，則
Logistic函數是一種常用的S形函數，是比利時數學家 Pierre François Verhulst在 1844-1845 年研究種群數量的增長模型時提出命名的，最初作為一種生 態學模型。 Logistic函數定義為：
當參數為 (k = 1, x0 = 0, L = 1) 時，logistic函數稱為標准logistic函數，記 為 σ(x) 。
標准logistic函數在機器學習中使用得非常廣泛，經常用來將一個實數空間的數映射到(0, 1)區間。標准 logistic 函數的導數為：
softmax函數是將多個標量映射為一個概率分布。對於 K 個標量 x1, · · · , xK ， softmax 函數定義為
這樣，我們可以將 K 個變數 x1, · · · , xK 轉換為一個分布： z1, · · · , zK ，滿足
當softmax 函數的輸入為K 維向量x時，
其中，1K = [1, · · · , 1]K×1 是K 維的全1向量。其導數為
離散優化和連續優化 :根據輸入變數x的值域是否為實數域，數學優化問題可以分為離散優化問題和連續優化問題。
無約束優化和約束優化 :在連續優化問題中，根據是否有變數的約束條件，可以將優化問題分為無約束優化問題和約束優化問題。 ### 優化演算法
全局最優和局部最優
海賽矩陣
《運籌學裡面有講》，前面一篇文章計算梯度步長的時候也用到了： 梯度下降演算法
梯度的本意是一個向量（矢量），表示某一函數在該點處的方向導數沿著該方向取得最大值，即函數在該點處沿著該方向（此梯度的方向）變化最快，變化率最大（為該梯度的模）。
梯度下降法
梯度下降法（Gradient Descent Method），也叫最速下降法（Steepest Descend Method），經常用來求解無約束優化的極小值問題。
梯度下降法的過程如圖所示。曲線是等高線（水平集），即函數f為不同常數的集合構成的曲線。紅色的箭頭指向該點梯度的反方向（梯度方向與通過該點的等高線垂直）。沿著梯度下降方向，將最終到達函數f 值的局部最優解。
梯度上升法
如果我們要求解一個最大值問題，就需要向梯度正方向迭代進行搜索，逐漸接近函數的局部極大值點，這個過程則被稱為梯度上升法。
概率論主要研究大量隨機現象中的數量規律，其應用十分廣泛，幾乎遍及各個領域。
離散隨機變數
如果隨機變數X 所可能取的值為有限可列舉的，有n個有限取值 {x1, · · · , xn}, 則稱X 為離散隨機變數。要了解X 的統計規律，就必須知道它取每種可能值xi 的概率，即
稱為離散型隨機變數X 的概率分布或分布，並且滿足
常見的離散隨機概率分布有：
伯努利分布
二項分布
連續隨機變數
與離散隨機變數不同，一些隨機變數X 的取值是不可列舉的，由全部實數 或者由一部分區間組成，比如
則稱X 為連續隨機變數。
概率密度函數
連續隨機變數X 的概率分布一般用概率密度函數 p(x) 來描述。 p(x) 為可積函數，並滿足：
均勻分布 若a, b為有限數，[a, b]上的均勻分布的概率密度函數定義為
正態分布 又名高斯分布，是自然界最常見的一種分布，並且具有很多良好的性質，在很多領域都有非常重要的影響力，其概率密度函數為
其中， σ > 0，µ 和 σ 均為常數。若隨機變數X 服從一個參數為 µ 和 σ 的概率分布，簡記為
累積分布函數
對於一個隨機變數X，其累積分布函數是隨機變數X 的取值小於等於x的概率。
以連續隨機變數X 為例，累積分布函數定義為：
其中p(x)為概率密度函數，標准正態分布的累計分布函數:
隨機向量
隨機向量是指一組隨機變數構成的向量。如果 X1, X2, · · · , Xn 為n個隨機變數, 那麼稱 [X1, X2, · · · , Xn] 為一個 n 維隨機向量。一維隨機向量稱為隨機變數。隨機向量也分為離散隨機向量和連續隨機向量。 條件概率分布 對於離散隨機向量 (X, Y) ，已知X = x的條件下，隨機變數 Y = y 的條件概率為：
對於二維連續隨機向量(X, Y )，已知X = x的條件下，隨機變數Y = y 的條件概率密度函數為
期望 對於離散變數X，其概率分布為 p(x1), · · · , p(xn) ，X 的期望（expectation）或均值定義為
對於連續隨機變數X，概率密度函數為p(x)，其期望定義為
方差 隨機變數X 的方差（variance）用來定義它的概率分布的離散程度，定義為
標准差 隨機變數 X 的方差也稱為它的二階矩。X 的根方差或標准差。
協方差 兩個連續隨機變數X 和Y 的協方差（covariance）用來衡量兩個隨機變數的分布之間的總體變化性，定義為
協方差經常也用來衡量兩個隨機變數之間的線性相關性。如果兩個隨機變數的協方差為0，那麼稱這兩個隨機變數是線性不相關。兩個隨機變數之間沒有線性相關性，並非表示它們之間獨立的，可能存在某種非線性的函數關系。反之，如果X 與Y 是統計獨立的，那麼它們之間的協方差一定為0。
隨機過程（stochastic process）是一組隨機變數Xt 的集合，其中t屬於一個索引（index）集合T 。索引集合T 可以定義在時間域或者空間域，但一般為時間域，以實數或正數表示。當t為實數時，隨機過程為連續隨機過程；當t為整數時，為離散隨機過程。日常生活中的很多例子包括股票的波動、語音信號、身高的變化等都可以看作是隨機過程。常見的和時間相關的隨機過程模型包括貝努力過程、隨機遊走、馬爾可夫過程等。
馬爾可夫過程 指一個隨機過程在給定現在狀態及所有過去狀態情況下，其未來狀態的條件概率分布僅依賴於當前狀態。
其中X0:t 表示變數集合X0, X1, · · · , Xt，x0:t 為在狀態空間中的狀態序列。
馬爾可夫鏈 離散時間的馬爾可夫過程也稱為馬爾可夫鏈（Markov chain）。如果一個馬爾可夫鏈的條件概率
馬爾可夫的使用可以看前面一篇寫的有意思的文章： 女朋友的心思你能猜得到嗎？——馬爾可夫鏈告訴你 隨機過程還有高斯過程，比較復雜，這里就不詳細說明了。
資訊理論（information theory）是數學、物理、統計、計算機科學等多個學科的交叉領域。資訊理論是由 Claude Shannon最早提出的，主要研究信息的量化、存儲和通信等方法。在機器學習相關領域，資訊理論也有著大量的應用。比如特徵抽取、統計推斷、自然語言處理等。
在資訊理論中，熵用來衡量一個隨機事件的不確定性。假設對一個隨機變數X（取值集合為C概率分布為 p(x), x ∈ C ）進行編碼，自信息I(x)是變數X = x時的信息量或編碼長度，定義為 I(x) = − log(p(x)), 那麼隨機變數X 的平均編碼長度，即熵定義為
其中當p(x) = 0時，我們定義0log0 = 0 熵是一個隨機變數的平均編碼長度，即自信息的數學期望。熵越高，則隨機變數的信息越多；熵越低，則信息越少。如果變數X 當且僅當在x時 p(x) = 1 ，則熵為0。也就是說，對於一個確定的信息，其熵為0，信息量也為0。如果其概率分布為一個均勻分布，則熵最大。假設一個隨機變數X 有三種可能值x1, x2, x3，不同概率分布對應的熵如下：
聯合熵和條件熵 對於兩個離散隨機變數X 和Y ，假設X 取值集合為X；Y 取值集合為Y，其聯合概率分布滿足為 p(x, y) ，則X 和Y 的聯合熵（Joint Entropy）為
X 和Y 的條件熵為
互信息 互信息（mutual information）是衡量已知一個變數時，另一個變數不確定性的減少程度。兩個離散隨機變數X 和Y 的互信息定義為
交叉熵和散度 交叉熵 對應分布為p(x)的隨機變數，熵H(p)表示其最優編碼長度。交叉熵是按照概率分布q 的最優編碼對真實分布為p的信息進行編碼的長度，定義為
在給定p的情況下，如果q 和p越接近，交叉熵越小；如果q 和p越遠，交叉熵就越大。
⑦ 學編程需要什麼基礎知識
學編程需要以下基礎知識：
1、數學基礎。從計算機發展和應用的歷史來看，計算機的數學模型和體系結構等都是有數學家提出的，最早的計算機也是為數值計算而設計的。因此，要學好計算機就要有一定的數學基礎，初學者有高中水平就差不多了。
2、邏輯思維能力的培養。學程序設計要有一定的邏輯思維能力，邏輯思維能力的培養要長時間的實踐鍛煉。要想成為一名優秀的程序員，最重要的是掌握編程思想。要做到這一點必須在反復的實踐、觀察、分析、比較、總結中逐漸地積累。
3、要有一定的編程思想。學習一門語言或開發工具，語法結構、功能調用是次要的，最主要是學習它的思想。
學會編程語言，可以從事軟體工程師，就目前而言，軟體工程師就業前景一片大好，我國仍然還存在很大的軟體開發人才缺口，並且以每年20%左右的速度增長。編程語言發展前景如此好，已經成為多數同學心中理想的職業。
想了解更多有關學習編程的詳情，推薦咨詢達內教育。達內教育是引領行業的職業教育公司，致力於面向IT互聯網行業，培養軟體開發工程師、系統管理員、UI設計師、網路營銷工程師、會計等職場人才，擁有強大的師資力量，實戰講師對實戰經驗傾囊相授，部分講師曾就職於IBM、微軟、Oracle-Sun、華為、亞信等企業，其教研團隊更是有獨家26大課程體系，助力學生系統化學習，同時還與各大高校進行合作，助力學生職業方向的發展。
感興趣的話點擊此處，免費學習一下
⑧ 軟體開發的程序員需要掌握多的數學知識
需要數學，但是這個數學不是說你現在學的數學這點知識，而是你是邏輯思維，如果你僅僅是想成為一個程序員，只是一個寫代碼的人，那你數學不需要太好，但是，如果你真想好好從事計算機這方面，尤其是想軟體開發，你必須得學好數學，計算機本來就是從數學里分支出來的，你越往上走也就越接近數學，你相信嗎，一個計算機的頂級專家不會寫代碼的人大有人在，什麼是程序。有一本書是，程序=數據結構+演算法。任何一門語言給你兩個月你都能把基本的學的差不多，就想蓋房子，寫代碼的程序員就相當於磚匠，你永遠成不了設計師。一個大的正規的項目，有80%的時間是在設計，設計有哪些模塊，用什麼技術，怎麼架構這個項目，怎麼通信等等。。。。而等設計完了20%的時間給程序員把代碼寫出來。寫了這么多，你自己好好想想，隨便問一個高手，看看那個會告訴你計算機不需要數學，
需要注意的是，數學課本里的具體知識、公式，而是一種數學的思維方式、邏輯思維能力。最後祝你能夠堅持走這條路，好運。
⑨ 當一個程序員需要多好的數學
任何面向工作的功利的學習行為都可以視為一種投資，必須考慮成本和收益的tradeoff；總體來看，個人慧談認為計算機系本科不教的數學對於絕大多數程序員來說都是沒有必要熟練掌握的數學。
數學不包括演算法。演算法一直是屬於計算機科學領域的。數據結構演算法能力是程序員的核心能力之一，而且永不過時。
當程序員做開發工作，有些方向不太需要數學，有些方向需要特定類型的數學（比如游戲開發、圖形學會用到大量數值工具等）；解前遲碰決特定問題需要學習特定類型的數學；專門做特定領域的計算機科學研究需要用到大量特定領域的數學；既然如此，那就在碰到相應問題的需求去學習對應的知識就好了，沒有必要非要計較到底哪個重要（旦岩前提是你應當知道你這個方向需要什麼樣的知識），也沒有必要僅僅是為了提高「數學基礎」而盲目不加選擇的去學習所有種類的數學。
⑩ 程序員需要怎樣的數學基礎
離散數學對程序員來說非常重要，還有組合數學、線性代數、概率論、數論等等，即使你將來不做研究，這些基礎知識也能極大地提高你的水平。計算機科學對離散數學的要求很高，建議你先學習前面提到的這些課程，然後學習計算機演算法和數據結構，再配合到網上的在線題庫做題，過程很艱辛，但是對你的幫助會很大。
推薦書目：
《具體數學》（先學完前面的數學課程，罩衫在水平有一定進步以後再看）
《演算法導論》（應該人手一本的好書）
簡單來說，學數學的目的，一方面是活躍你的思維；另一方面是為了深入學習演算法打基礎，設畢老想物數腔一下，同樣的問題，普通人的程序要幾十分鍾甚至幾小時幾天才能解決出來，甚至根本無法解決，而你精心設計的程序卻能在1秒內解決出來，這就是數學的魅力、演算法的魅力。
其實，一切取決於你是否想做一個高級程序員。如果你做體力活（其實一般編程別人都認為是體力活），那你可以不學，因為你用不到，但是，你要是做技術上的創新，做個很強的程序員，沒有數學的支持，很難。
你既然學習了C，c++,你也知道演算法的重要性，同樣一個問題，我用13行程序解決了，我的同學居然用了33行，因為他不懂的用數學。你要達到什麼高等，取決於你的數學修養。當然，要做一個普通的程序員就不用學習了。要挑戰自己，做個好的，優秀的，學習數學吧！