Anayasa hazırlıklarına Mithat Paşa, Mayıs 1876'da hükümete girmesinden hemen sonra başladı. Kendisi Sultan II. Abdülhamid’e önceden hazırladığı bu anayasa taslağını vermişti. Ancak Midhat Paşa’nın 1814 Fransız  Anayasasına göre düzenlenmiş olan anayasa taslağını padişah beğenmemişti. Daha sonra böyle bir anayasa hazırlamanın ve yasama yetkisine sahip bir meclis kurmanın, Osmanlı hükümetinin temeli olan, Şer-î Şerife aykırı olup olmadığını öğrenmek için, İslâm hukukçularının görüşleri alındı. Mevcut şer-î hükümlere aykırı olmamak şartıyla, şura meclisi mahiyetinde bir yasama meclisi kurmak ve bunun esaslarını düzenleyen bir Kanun-ı Esas-î hazırlama kararı alındı. Sultan II. Abdülhamid,  kanunun Vekiller Heyetinde görüşülerek, büyük bir meşveret meclisinin toplanmasına karar verdi. 26 Eylül 1876 tarihinde yapılan bu toplantıya yaklaşık 200 kişi çağrıldı. Bunlar, vekiller, mülkiye, ordu ve ulema mensuplarıydı.

Meşveret meclisinin çalışmalarının tamamlanmasından sonra, II. Abdülhamid 8 Ekim
1876 tarihinde sadarete gönderdiği tezkerede, Kanun-ı Esasî’nin hazırlama işini Midhat
Paşa’nın başkanlığında kurulan bir komisyona verdi. Komisyonda 28 üye görevlendirildi.
Üyeler arasında Maarif Nazırı Cevdet Paşa, Nâfıa Nazırı Server Paşa, Fetva Emini Hadik Efendi, Hariciye Müsteşarı Aleksandır Efendi, Adliye Müşteşarı Vahan Efendi, Şuray-ı Devlet üyesi Ohanis Efendi de bulunuyordu. Bu komisyona daha sonra Namık Kemâl de üye olarak atandı.

Komisyon çalışmalarına hemen başladı. Midhat Paşa, her türlü güçlüğe ve engele
rağmen Kanun-ı Esasî ve Meşrutiyetin ilânını bir an önce gerçekleştirmek için gayret
gösteriyordu. Sadrazâm Rüştü  Paşa, bir anayasa değil, sadece köklü bir ıslahat yapılmasını  istiyordu. Ahmet Vefik Paşa, meşrutiyetin tamamen aleyhinde idi. Saffet ve Ethem Paşalar ise bu işte çekingen davranıyorlardı.

Midhat Paşa, bütün devletlere söz verildiği ve açıklandığı üzere,anayasanın, birkaç  gün sonra İstanbul’da toplanacak olan büyük devletler elçileri konferansında önce ilân edilmesi gerektiğini, aksi halde konferansın ileri süreceği ağır şartları kabul edip, onların hakimiyeti altında yaşamaya mahkûm olacağımızı, bir lâyiha ile padişaha iletti.

Midhat Paşa’yı bu derece aceleci bir tutuma sevk eden faktörlerin başında devletin o zamanlar içine düşmüş bulunduğu siyasî buhran geliyordu. Hersek’de çıkan isyanın zamanla Balkanlarda yayılarak tehlikeli bir boyut kazanması, Batılı devletlerin sorunu çözümü için İstanbul’da bir konferansın toplanmasına karar vermelerine sebep oldu. Konferansın toplanmasına üç gün kala ve Kanun-ı Esasî üzerindeki görüşmeler sona ermekte iken sadrazâm M. Rüştü Paşa’nın istifası üzerine, Midhat Paşa ikinci defa sadrazâmlığa getirildi.

İlk anayasa çalışmalarının sonuna gelindi ve Midhat Paşa’nın Padişah’a sunduğu anayasa taslağında gerekli düzeltmeler yapıldıktan sonra, konferansın açılış gününe rastlâyan 23 Aralık 1876 tarihinde padişah tarafından onaylanarak  Kanun-ı Esasî resmen yürürlüğe girdi. Kanun-ı Esasî’nin ilânı ile bütün meseleler çözümlenmiş değildi. Asıl önemli olan, Anayasanın kapsadığı hükümleri uygulamak, mekanizmayı kurmak ve işletmekti. Bir taraftan da, Anayasa gereğince seçimlerin yapılarak Meclis-i Mebusan’ın çalışmasını sağlamaktı. Seçimlerin ne şekilde yapılacağını belirlemek üzere bir seçim bildirisi Talimat-ı Muvakkate hazırlığına girişildi.  Ancak seçimlerin yapılmasını ve Meclis-i Mebusan’ın açılışını görmek Midhat Paşa’ya kısmet olmadı. 49 günlük bir sadaretten sonra, 5 Şubat 1877 tarihinde, Sultan II. Abdülhamid’in kendi ısrarıyla Anayasaya koydurduğu 113. maddeye dâyanarak ülke dışına sürgüne gönderildi.