歷史上從來沒有記載過是誰發明了冰淇淋。它的起源可以追溯到公元前二世紀，當時的中國人創造性地把大米和牛奶混合放在盤中，然后放在雪中冷凍。傳說，中國君主商湯雇傭了九十多名“凌人”，他們的工作就是把面粉、樟腦、水牛奶和冰混合在一起。另據記載，中國人還最早發明了“冰淇淋機”：在罐中裝滿甜漿，再用冰和鹽包裹在外。
早期也有其它類似冰淇淋的甜點，比如亞歷山大大帝就特別喜歡食用摻入蜂蜜的雪。據說，羅馬帝國皇帝尼祿·克勞狄烏斯·凱薩曾經派人上山采集冰雪，再用果汁和水果配上味道——有點像是公元一世紀的刨冰。很明顯，這些早期“冰淇淋”只是富人享用的奢侈品，畢竟不是每個人都有能力派遣仆人去爬山取雪。
現代冰淇淋最早的雛形是源于馬可·波羅從中國帶回意大利的一份配方。那份配方說的很像是我們現在說的冰凍果子露。那之后，據說在1533年凱瑟琳·德·美第奇嫁給亨利二世的時候把這種甜品帶到法國。十七世紀時，據說英格蘭國王查理一世極為喜愛“奶油冰”，甚至花錢要求廚師要保密配方不能對外公開，因為在他看來這是專屬于皇室的享受。然而這兩則故事是在十九世紀時才首次出現，距故事發生年代已相隔多年，所以不好說是真是假。
在歐洲最早面向公眾供應冰淇淋的地方是法國的普羅卡布咖啡館，時間是十七世紀末。那時的冰淇淋是用牛奶、奶油、黃油和雞蛋混合制作的。即便如此，那主要還是上層階級的享受，并沒有在各階層中流行開。
在美國，有關冰淇淋的記載最早見于1744年，當時的一位蘇格蘭移民在造訪馬里蘭州州長托馬斯·布雷登之后，記錄了他在那里用餐中有可口的草莓冰淇淋。美國最早的冰淇淋廣告出現在1777年的《紐約公報》，上面刊登菲利普·蘭茲說自己店中“每日供應”冰淇淋。
一直到十九世紀，冰淇淋還主要是用于特殊場合，因為沒有隔熱冰箱難以長時間儲存。人們在冬天從湖中取出冰塊，儲存在地下或者磚壘冰房，用稻草隔熱。那時候用一種叫做“鍋冷凍”的方法制作冰淇淋，是把一碗奶油放置在一個放了冰和鹽的桶中。1843年，這種方法被南希·約翰遜發明的手搖攪乳器替代。用攪乳器制作的冰淇淋比鍋冷凍方法做出來的更柔滑，而且速度也更快。
冰淇淋以前不是大生意，直到1851年雅各布·福塞爾在賓夕法尼亞建立起一間冰淇淋工廠。他的生意非常成功，后來又建起了多間工廠。因為大規模生產極大地降低了冰淇淋成本，使其變得更加流行，底層民眾也能享用了。
十九世紀七十年代，德國人卡爾·馮·林德發明了工業制冷，極大推動了冰淇淋的發展。與此同時其它科技，例如蒸汽動力、機動車輛和電力的應用使得冰淇淋更便于生產、運輸以及貯藏。下次你舉著冰淇淋甜筒的時候，一定要感謝工業革命給你帶來的福蔭哦！
與大眾普遍看法不同的是，廣受歡迎的冰淇淋甜筒并不是在1904年萬國博覽會上發明的。例如，在1888年《馬歇爾夫人的菜譜》中就有提到冰淇淋甜筒，那想必冰淇淋裝在錐形筒中的做法在這之前就已存在。只是這種做法到了1904年才流行起來而已。至于具體是誰在萬國博覽會上做的甜品促成了普及，這就無人知曉了。
有個故事是這樣講述的：在圣路易斯萬國博覽會上的一個冰淇淋攤販，用光了裝冰淇淋用的硬紙板杯子。他旁邊的攤位是賣華夫餅的，但由于天氣炎熱沒能賣出多少。于是他把華夫餅賣給前者卷成蛋筒狀，結果大受歡迎。不過這可能又只是一個傳說，因為并沒有記錄具體信息——比如商販的姓名——來驗證這個故事，同時也有多位參加那屆萬國博覽會的冰淇淋攤販宣稱自己第一個做出的甜筒。無論是哪種情況，就是那屆萬國博覽會推廣了甜筒，肯定有某位或者某幾位冰淇淋攤販在背后做出了貢獻，至于是否如同像故事中所講的那樣是意外驚喜，還是他們早已籌備，這都已經淹沒在歷史長河之中了。
二十世紀三十年代，冰淇淋首次在食品雜貨店中銷售。二戰時期把冰淇淋作為提升作戰士氣的優待，某種程度上也成為了那時美國的象征（以至于意大利的墨索里尼為避免引發聯想而下令禁止冰淇淋），這又更深遠得普及了這種甜品。戰爭期間消耗大量冰淇淋，導致1943年美國最大的冰淇淋制造商居然是美國軍隊。
現今，據估計每年僅在美國就會生產出超過16億加侖的冰淇淋和相關冷凍乳制品。以此同時，美國民眾平均每人每年會食用多達4加侖的冰淇淋。