金牛座是黃道十二星座中最古老的星座之一，其歷史可以追溯至銅石並用時代，甚至可能早至舊石器時代。慕尼黑大學學者米歇爾·拉彭格呂克認為，法國拉斯科洞窟中著名的「大廳公牛」壁畫（約繪於公元前15000年）描繪的正是金牛座，畫中還伴隨著昴宿星團的刻痕。
「七姐妹」這個名稱被世界上許多文化用來稱呼昴宿星團，包括澳洲原住民、北美原住民以及西伯利亞族群。如此廣泛而相似的命名，暗示這些看似遙遠的文化之間，可能存在一個共同的古老起源。
在銅石並用時代與青銅時代早期（約公元前4000年至公元前1700年），這段時期也被稱為「金牛時代」，金牛座標誌著春分點的位置，此後春分點才逐漸移入鄰近的白羊座。大約在公元前23世紀，昴宿星團在春分點上最接近太陽。
在巴比倫天文學中，金牛座被記載於《穆爾阿平》星表中，名為GU4.AN.NA，意即「天上的公牛」。由於這個星座標誌著春分點，它成為巴比倫曆法中的第一個星座，被形容為「公牛」。
在美索不達米亞最早的文學作品之一《吉爾伽美什史詩》中，女神伊什塔爾因求愛遭到吉爾伽美什拒絕，便派出「天牛」下凡，欲置他於死地。吉爾伽美什所對應的正是相鄰的獵戶座，兩個星座在天空中遙遙相對，宛如正在交戰。早在兩河流域藝術中，「天牛」便與蘇美爾的伊南娜女神——掌管愛、生育與戰爭的女神——密切相關。現存最古老的描繪之一，顯示公牛站立於女神的旗幟之前；由於牛背上刻有三顆星星（楔形文字中表示「星座」的符號），學者認為這正是後來所稱的金牛座。
同樣的公牛形象也出現在埃及丹德拉神廟的黃道帶浮雕上，那是一幅雕刻於天花板、用以描繪半球星圖的淺浮雕。有趣的是，在這些古代文化中，牛角的方向被描繪成向上或向後，與後來希臘人將牛角畫向前方的做法截然不同。
對埃及人而言，金牛座是一頭神聖的牛，象徵春天的重生。當春分點進入金牛座時，太陽會在春天開始之際於西方天空「遮蔽」這個星座，這種「犧牲」象徵著大地的更新。而在早期希伯來文化中，金牛座被視為第一個星座，因此以字母表的第一個字母「艾禮富」（Aleph）作為它的代表。
在希臘神話中，金牛座被認定為宙斯的化身。宙斯變成一頭雄偉的白牛，綁架了腓尼基公主歐羅巴。在許多插圖中，這個星座只描繪了公牛的前半身，有時被解釋為公牛正載著歐羅巴渡海而行，後半身浸沒在海面之下。
另一則希臘神話則將金牛座與宙斯的情人伊俄連結起來。為了將愛人藏起、躲避妻子赫拉的追查，宙斯把伊俄變成了小母牛的形象。此外，希臘神話作家阿庫西勞斯認為，這頭牛即是克里特公牛，也就是赫拉克勒斯十二項偉業中的其中一項。
金牛座也曾是德魯伊重要的崇拜對象。據傳每當太陽行經金牛座時，德魯伊人便會舉行盛大的宗教節慶。而在佛教傳說中，相傳喬達摩佛陀誕生於滿月之夜，當時太陽正處於吠舍佉月，亦即金牛座所在的時節。佛陀誕辰至今仍以「衛塞節」（又稱佛誕日）慶祝，日期落在四月至五月間，正值太陽運行至金牛座之時。
