Miting ve gösteriler, milli ruh ve şuurun diri tutulması açısından yararlı oldu. Ali Kemalî ise daha fazla şeyin yapılmasını istedi. Ankara onlardan yardım bekliyordu. Orduya para, yiyecek, giyecek, ulaşım araçları lazımdı.
Kısa zaman sonra Konya müdafaa-ı Hukuk'un Hanımlar şubesi açıldı. Bunlar çeşitli yardım kampanyaları düzenleyerek askerler için para, yiyecek ve giyecek topluyorlardı.
5 Mayıs 1920'de Konya'da yeni bir fesat yuvası ortaya çıkarılmış, 6 Hazirana kadar bu fesat yuvası dağıtılmıştı. Bu arada hapishane pek çok tutuklu bulunuyordu. Konya'da vali değişikliği yapılmış, 18 Temmuz 1920'de Van Valisi Haydar bey, Konya Valisi olarak tayin edilmişti. Mustafa Kemal, olayları yerinde takip etmek ve Müdafaa-ı Hukuk Cemiyeti temsilcileriyle görüşerek bazı talimatlar vermek üzere 3 Ağustos 1920'de Konya'ya geldi. Valilik binasında kısa bir dinlenmeden sonra şehrin ileri gelenleri ve heyetlerle görüşmeler yaptı. Bu arada Müdafaa-ı Hukuk Konya Heyet-i Merkeziye Reisi Sivaslı Ali Kemal ile de bir görüşme yaptı. Konya'daki olaylar ve kamuoyu hakkında bilgi aldı.
Olaylara katılanların pişmanlık duyduklarını belirten Sivaslı Ali Kemal, "bunların kandırılmış masum halk olduğunu, halkın kandırılması için sürekli fitne tohumlarının ekildiğini, isyanın asıl nedeninin halkı iğfal eden kişiler olduğunu" söyledi. Cinayete fiilen karışmamış kişilerin affını talep etti. Meclisin bu kişileri affederse Konya'da Ankara'ya karşı güvenin artacağını dile getirdi. Ali Kemal'in af talebini makul karşılayan Mustafa Kemal makine başına geçerek Meclis, ikinci reisi Celaleddin Arif Bey'e gerekli talimatı verip, isyancıların affını sağlamıştı.
Ali Kemalî’nin bu iyi niyeti ölümüne neden olacaktı.
Mustafa Kemal Paşa Millî Mücadeleye büyük bir destek veren Ali Kemalî Efendi’yi çalışmaları için takdir etti. Dönüşünde ise yanında bulunan Refet Paşa’ya:
“O, Ali Kemalî Efendi’yi anlatmak istediğinden daha başka meziyetlerle de buldum. Eğer her vilayet, sancak ve kazada bir emsali bulunabilirse, istiklâl ve medeniyet yolunda erişemeyeceğimiz yer yoktur…” dedi.
Serbest kalan Delibaş Mehmet, Müdafaa-ı Hukuk emrinde çalışacağına söz verdi. Gösterişe düşkün birisiydi. Emrindeki kuvvetlerle Konya’ya giriş ve çıkışlarında, hakiki bir kumandan gibi bando ile karşılanır ve uğurlanırdı. Konya Valisi Haydar Bey, Delibaşı, vilayet makamına çağırıp ona, binbaşılık rütbesi ve yetkisini verdi.
Beline de gümüş saplı bir kılıç kuşattı. Delibaş, iyice şımardı.
Vali Arnavut’tu. Delibaş’ın annesi de Arnavut’tu. Yakınlık kurdular. Birbirlerine zarar vermeyeceklerine söz verdiler. Delibaş, Konya Valisi Haydar Bey’in de destek vermesiyle, çoğu asker kaçağı 500 kadar silahlıyı Kuvâ-yi Milliye’ye katılmak amacıyla Alibeyhüyüğü köyünde topladı. Meydanda sarıklı, fesli, poşulu her sınıftan insanlar vardı. Üstleri başları yırtık elbiseli, hiçbir şeyden habersiz, çoğu da çevre köylerden olan zavallı insanlardı. Vatan ve din uğruna düşmanla savaşmak, onları yurttan kovmak için cephe oluşturduklarına inanmıştı. Bu söylemlerin doğru olmadığını, Konya’yı Mustafa Kemal’cilerin elinden almak için bastıkları, din kardeşleri ile savaşa giriştikleri zaman anlayacaklardı. 27 Eylül 1919’da başlayan Bozkır İsyanlarıyla ortaya çıkan Delibaş’ın güvenilmez olduğu belliydi.
Ali Kemalî gelişmelerden endişe duymaktaydı. Delibaş Mehmet’in cepheye gitmeyeceğini düşmanla dövüşmeyeceğini çok iyi biliyordu. Müdafaa-ı Hukuk Cemiyeti üyeleri ile valiyi ziyarete gitti. Valiye:
“Lütfen Delibaş Mehmet adlı adama yüz vermeyin. Yoksa bunların memleketimize zarar verebilmeleri ihtimali büyüktür,” dedi. Vali güldü. Konuşulanları duymazdan geldi. Her tarafta Konya’nın basılacağı haberi geliyordu. Bu durum Ali Kemalî’yi düşündürüyordu. Şehadetini yarın yazacağım.