Gölge oyunun geçmişi çok eskilere dayanır. Doğuş yerinin Asya olduğu buradan batı ülkelerine yayındığı sanılmaktadır. Kimi araştırmacılar, gölge oyununun ilk kez Çin'de çıktığını öne sürmüşlerdir.

Onlara göre, Milattan önceki ilk yüzyılda, karısının ölümüne üzülen Çin imparatorunun üzüntüsünü hafifletmek için, çare ararlar, karısına benzeyen bir kadının gölgesini gerilen perde üzerine düşürülmüşler. Bundan sonra gölge oyunu ortaya çıkmış. Kimileri de, 4. yüzyıldan itibaren gölge oyunun Hindistan'da görüldüğünü, Cava'da yaygınlaştığını Arap'lara buradan geçtiğini söylüyorlar. İslam dünyasında bu oyuna "hayal -el -zıll" ( gölge hayali), "zıll -el -hayal" (hayal gölgesi), "hayal -el -sitare" (perde hayali)  gibi adlar verilmiş.

Gezgin İbni Batuta, 1345 yılında gittiği Cava'da, gördüğü gölge oyunlarının bir çok bakımlardan Arap ve Türk gölge oyununa benzediğini, her ikisinde de beyaz bir perde olduğu ve  oynatanla perde arasına yağ kandili konulduğunu yazmıştır. 

Bunlara karşı, Türk kavimlerinin, gölge oyunlarının doğduğu yer olan Güney Asya'ya Araplardan daha yakın olduğunu öne sürenler de var. Onlara göre, bu oyunlar, Türklerin Ortaasya'dan göçleriyle beraber her gittikleri yere yayılmıştır. On birinci yüzyılda Anadolu'ya giren Türkler, hayal oyununu Mısır'a da götürmüşlerdir. 
Karagöz ve Hacivat'ın başlarındaki şapkaların,  Kırgız ve Başkurt başlıklarına benzemesi bu tezi doğrular niteliktedir. Ayrıca, bazı Selçuk namelerde, saraylarında hayal oynatıldığına ilişkin saptamalar bulunmaktadır. Öte yandan,  Şeyh Attar'ın "Üstürname" adlı yazmasında, Cengiz Han'ın oğullarından Oktay Han'ın huzurunda bir Türk'ün, hayal oynattığını belirtilmektedir. 
Gelelim Osmanlı kaynaklarına: 1571'de Mısır'ı alan Sultan Selim, Memluk Sultanı II. Tumanbay'ı 15 Nisan 1517'de astırmıştı. Bir gölge oyuncusu, Tumanbay'ın asılışını  ipin, iki kez kopuşunu canlandırmış, sultan bu gösteriyi çok beğenmiş, oyuncuya 80 altın ve işlemeli kaftan armağan ettikten sonra "İstanbul'a dönerken sen de bizimle gel, bu oyunu oğlum da görsün,  eğlensin" demiştir. 

Ne Mısır'da, ne Osmanlılarda 16. yüzyılda ne Karagöz'ün ne de Hacivat'ın adı vardır. Başka kalıplaşmış kişi ve tiplere de rastlanmamaktadır. Türklerden Mısır'a giden, buradan da İstanbul'a gelen gölge oyununa, bu yıllardan itibaren Türk yaratıcılığı katılmış; çok renkli, hareketli, özgün bir biçim verilmiştir. 

Aradan elli yıl geçmiştir. Bu oyunun elli yılda gösterdiği gelişim, 1582 şenliğini anlatan Surname-i Hümayun'da görülmektedir. Artık "hayalbazan" diye bir esnaf topluluğu oluşmuştur. Bir yabancının anılarında şu cümleler yer almaktadır:
"Biri altı tekerlek üzerinde tahtadan bir küçük baraka veya sahneyi ortaya getirdi. Bunun önünde keten bezinden bir perde, içinde ise birkaç ışık vardı, birisi görüntüleri ışıklarla perdeye yansıtarak bunları oynatıyordu. Bunlardan başka, iki kişi parmaklarıyla dilsiz gibi işaretleşip konuşuyorlar, buna yakın şeyler yapıyorlardı. Biri kovalıyor ve koşuyordu..."
Karagöz kesin biçimini ancak 17. yüzyılda almıştır. Kaynak, bir çok abartılarına karşın Evliya Çelebi ve bazı gezginlerdir. Bunların yazılarından, Ramazan'da kahvelerde, çeşitli soytarı ve oyuncuların yanısıra, geriden aydınlatılmış bir perde veya boyanmış bir kağıt üzerinde gölgelerin oynatıldığını, bunları oynatanın sesini değiştirerek çeşitli dilleri ve ağızları taklit ettiğini, kadın-erkek ilişkilerinin büyük bir açık-seçiklikle gösterildiğini, bu konuların böyle bir dinsel bayramda ve genel yerler için aşırı utanmasız olduğunu belirtilmiştir.  

Evliya Çelebi'nin kitabında, perdenin arkasından oynatanlar, diğeri gölgeyi sinema gibi perde üzerine düşürenler olmak üzere iki tür oynatıcıdan söz edilmiştir. 
Karagöz ve Hacivat, gerçek yaşamış olan kişiler midir?

Doğrusu, Karagöz ve Hacivat'ın halkın gönlünde var olup, yüzyıllarca yaşadıklarıdır. Ama halkımız,  her zaman sevdikleri kahramanları gerçekten yaşamış olarak görmek istemiştir. Bu bakımdan türlü söylenceler ortaya çıkmıştır.