Hıfzı 1911 yılında Sona adında bir kızla evlindi. Sona, İran'dan gelip Ağrı'ya, Ağrı'dan Kağızman Torakkale'sine yerleşmiş Cellolar (Celaliler)lakaplı, Kürt kökenli bir ailenin kızıydı. Hıfzı, Sona Hanım için şiirler söylüyordu:

Bir bölük turnalar müjde getirdi
Bugün ezel-bahar yaz eyyamıdır
Hu çeker ötüşür sadalı kuşlar
Muhabbet safası saz eyyamıdır

Ne hoş hayellendi çimenmiş çöller
Ne serhoş esiyor bu serin yeller
Durmaz dalgalanır sonalı göller
Ötüşür ördeği kaz eyyamıdır

Al yeşil geyindi dumanlı dağlar
Olur şad-ı revan çimenli çağlar
Seyreyle sevdiğim seyrangah bağlar
Sallan kanlı zalim naz eyyamıdır

Eski sözdür arsız güleğen olur
Hıfzı gibi dertli söyleğen olur
Her başa bir bela geleğen olur
Durma dertli diller söz eyyamıdır

Âşıklık geleneğindeki bade içme motifi Hıfzı içinde yakıştırıldı. Söylencelere göre, 1912 yılında Hıfzı, bir gün bahçede ışık içindeki bir kızın belirlendiği  gördükten sonra bayıldı.  Ertesi sabah bu şekilde bulunup evine getirildi.

Bir süre sonra kendisini ziyarete gelenler arasında eşi Sona'nın küçük kız kardeşi Ayşe de vardı. Rüyasında ışık içinde gördüğü kızın baldızı Ayşe olduğunu söylemesi, aile içinde hoş karşılanmadı. Ağabeylerinden dayak yedi. Bunun üzerine evini ve köyünü terk ettti.  Şaban köyüne yerleşti.   Âşıklığın yanında köylerde imamlık da yapmaktaydı.  Saz çalmanın yasak olmadığı Kadiri tarikatına girdiği, daha sonra da Mevleviliği seçtiği söylentiler arasında bulunuyor.

Yine söylentilere  göre, karısının küçük kardeşi Ayşe, Hıfzı'ya kaçtı. Ancak, ailesi onu geri alarak, Karabağ' da halasının oğlu ile evlendirdi. Hıfzı, 12 yaşındaki Ayşe ile evlilik hayatı yaşamamıştı. Ablası olan Sona'ya göre de çirkin bir kızdı. Ama gönül kimi severse, güzel odur. Hıfzı, Ayşe'nin aşkını içinden atamadı.  Her türküsünde ilham perilerinden biri Ayşe'ydi. Şiirlerinden ona, turnalarla, esen yellere, akan sularla selam gönderdiğini anlıyoruz:

Uçan kuşlar sizden haber sorayım
Bu bağda salınıp gezen kim idi
Anasın yitirmiş yolun şaşırmış
Körpe meral kimi tezen kim idi

Bezendi şevkinden bağların başı
Götürdü gönlümü kirpiği kaşı
Nazik ellerinde muhabbet taşı
Vurup da bağrımı ezen kim idi

Açıl bağlar açıl boyun göreyim
Gezdiğin yerlere yüzün süreyim
Ağaçlar dil bilmez kimden sorayım
Saçı sümbül zülfü düzen kim idi

Kamerden şevk almış seheri kevkep
Bahtı siyahımı kıldı mürekkep
Her kaşı bir kalem haddi hoş edep
Derdimi yellere yazan kim idi

Hıfzı der bu gülün bülbülü gerek
Elbet her bülbülün bir gülü gerek
Bir bağın sümbülü süseni gerek
Yazık kızıl gülü üzen kim idi

1918 yılında yedi yıllık karısı Sona öldü.  Geride Telli, Haşim ve sekiz aylık Hüsniye adlı üç çocuğu yetim kaldı. Bir komplo teorisine göre, Sona'yı Hıfzı'nın amcasının karısı zehirletti. Elbette bunların gerçek olup olmadığını bilemeyiz.

Hıfzı'nın Amcası Kerem'in kızı Ziyade, henüz onbeş yaşındaydı. Hıfzı'yı seviyordu. İnce hastalığa yakalanmıştı. Öldü. Onun ölümü, Hıfzı'yı çok üzmüştü.   On beş kıtadan oluşan önlü ağıtını yazdı. On beş kıta da Ziyade'nin ağzından cevap verdi. Ziyadenin ağzından yazdığı bazı kıtalar kaybolmuştu. Sözün gelimine göre onları da araştırmacı yazar Sait Küçük, Aşım Miskini kimliğiyle tamamladı.