Devlet hizmetindeki hayâtı, babası ile berâber Gazne Devletinin Horasan vâlisi Ebü’l-Fâzıl Es-Suri’nin hizmetinde bulunmakla başladı. 1040 yılındaki Dandanakan Savaşından bir süre sonra Alp Arslan’ın Belh vâlisi Ali bin Şadan’ın maiyetine girerek, vilâyet işlerinin yürütülmesiyle vazifelendirildi. Selçuklu Sultanı Tuğrul Beyin vefatı ile Alp Arslan ve kardeşi Süleyman Bey arasındaki taht mücâdelesi sırasında yerinde görüş ve tedbirleriyle dikkatleri çekti ve 1063 yılında Alp Arslan’ın yanında hizmete başladı. Alp Arslan Sultan olunca 1064 yılında Selçuklu Devletine vezir tâyin edildi. Zamânın halîfesi Kâim bi emrillah tarafından Nizâmülmülk ünvânı ile taltif edildi. Bu ünvânıyla tanındı. Nizâmülmülk, vezir olduğu 1064’ten, şehit edildiği 1092 senesine kadar aralıksız yirmi dokuz sene Büyük Selçuklu Devletine, tam bir dirâyet ve adâletle hizmet etti. Vazifeli olduğu için katılamadığı Malazgirt Meydan Muhârebesi hâriç, bütün Selçuklu fütûhatında bulundu. Sultan Alp Arslan’ın vefâtıyla veliaht Melikşah’ın tahta geçmesini sağlayıp, nizam ve âsâyişin korunmasında muvaffak oldu. SultanMelikşah’a muhâlefet eden veya başkaldıran Selçuklu prenslerinin itâat altına alınmasında büyük hizmeti geçti. Sultan Melikşah, devletin idâresinde ona çok büyük ve geniş yetkiler verdi. Nizâmülmülk’ün akıllı, tedbirli ve adâletli idâresi sâyesinde de, Melikşâh’ın saltanatı, aynı zamanda Büyük Selçuklu Devletinin de en parlak ve en şanlı devri olmuştur. Nizâmülmülk, âlim, edip ve kadirşinâs bir zât olduğu için meclisi; ilim ve sanat adamlarının toplandığı bir yer hâline gelirdi. Abbâsi halîfesi de kendisine pekçok hürmet eder, meclisinde bulunurdu. Âlimlere, şâirlere, sanatkârlara karşı çok ikrâm, ihsan ve iltifât ederdi. Birçok câmi, mescit, vakıf eserleri yaptırdı. Büyük Selçuklu Devletine; idârî, adlî, askerî, mâlî, sosyal ve kültürel sâhada pekçok yenilikler ve değişiklikler getirdi. Sarayı, merkezî hükümet teşkilâtını, İslâm esaslarına dayalı mahkemeleri, toprak sistemini sağlam esaslar üzerine yeniden düzenledi. Gerçekleştirdiği yeni sistemler bâzı değişikliklerle berâber bütün Türk-İslâm devletlerince devam ettirildi. Nizâmülmülk, zamânında yayılmaya ve kuvvetlenmeye çalışan bozuk fırkalara karşı, Ehl-i sünnet bilgilerinin sistemli bir şekilde öğretilmesi sağlandı. Bunun için Bağdat, Belh, Nişabur, Herat, İsfehan, Basra ve Musul gibi çeşitli şehirlerde, kendi ünvanı ile anılan Nizâmiye Medreselerini kurdurdu. Onuncu yüzyılda Ehl-i sünnete muhâlif cereyanların giderek yaygınlaşması sebebiyle İslâm dünyâsında ortaya çıkan karışıklıkların giderilmesinde Nizâmiye Medreselerinin çok büyük hizmeti geçti. Bu medreselerin en meşhurlarından birisi de, Bağdat’taki Nizâmiye Medresesi olup, asrın büyük âlimlerinden birisi olan Ebû İshak-ı Şîrâzî burada ders vermekle vazîfeli idi. Nizâmülmülk’ün Selçuklu Devletindeki bütün düzenleme ve değişiklikleri ciddî bir şekilde tetkik eden, devlet idâresinde kendi görüşlerini, icrâatını ve bunların gerekçelerini gelecek nesillere intikal ettirmek maksadıyla Fârisi olarak yazdığı Siyâsetnâme isimli eseri, bugün siyâset ilmiyle uğraşanların el kitapları arasında sayılmaktadır. Siyâsetnâme’de Türk-İslâm devletlerinin idârî, mâlî, siyâsî, askerî, sosyal ve kültürel yönlerini incelemektedir. Tam doğru metin ve ilâvesiz nüshası, İstanbul’da Süleymâniye Kütüphânesi,Molla Çelebi kısmında 114 numarada mevcuttur. Siyâsetnâme, birçok dillere tercüme edilerek, yayınlanmıştır.