Birçok kültür, kendi mürekkep formülasyonlarını birbirlerinden bağımsız olarak geliştirmiştir. Bu formülasyonlar genellikle ateş çukurlarında oluşan kurumun (pigment) su (taşıyıcı) ile karıştırılmasına dayanmaktadır. Günümüzde hâlâ kullanılmakta olan Çin mürekkebinin, temeli de bu basit bileşime dayanmaktadır.
Çinliler ve Mısırlılar en az 4500 yıl önce dayanıklı mürekkep tarifleri geliştirmiştir. Bu mürekkepler bitkisel, hayvansal ve mineral kaynaklardan elde edilmekteydi. Avrupa'da ise Orta Çağ öncesinde mürekkep; siyah karbon tozu, su, Arap zamkı ve diğer bağlayıcıların karışımından hazırlanmaktaydı.
Daha sonra Romalılar, demir gal mürekkebi (iron gall ink) demir gal mürekkebi (iron gall ink) olarak bilinen daha gelişmiş bir formül geliştirmiştir. Demir gal mürekkebi; demir(II) sülfat (FeSO₄), tannik asit ve Arap zamkından kolayca hazırlanabilmekteydi. Bu kalıcı mürekkep, kimyasal olarak üretilen mürekkeplerin 1900'lü yılların ortalarında yaygınlaşmasına kadar kullanılmaya devam etmiştir.
1440'lı yıllarda matbaanın icadı, yeni bir mürekkep türüne olan ihtiyacı ortaya çıkarmıştır. Su bazlı mürekkepler kaliteli baskı için uygun olmadığından, baskı yüzeyine daha iyi tutunabilen yağ bazlı mürekkepler geliştirilmiştir.