Zhang lahir dari keluarga sederhana. Dalam karier militernya dia pernah membantu Jepang dalam perang Rusia-Jepang (1904-1905) sebagai pemimpin dari milisi Manchuria.
Di bawah pemerintahan Republik Tiongkok dia menduduki beberapa jabatan penting dalam militer. Sejak diangkat sebagai inspektur jendral Manchuria hingga kematiannya, dia memegang kendali efektif atas wilayah itu.
Dia tak henti-hentinya melancarkan peperangan untuk memperluas wilayah kekuasaannya ke daerah selatan sejak tahun 1920 dan seterusnya, terlibat dalam pertikaian tiga pihak dengan panglima perang lainnya Wu Peifu dan Feng Yuxiang untuk memperebutkan kontrol atas Beijing.
Pasukan Fengtian yang dipimpinnya berhasil menduduki daerah Beijing dan Tianjin hingga dipukul mundur tahun 1926 oleh Jiang Jieshi (Chiang Kai-shek) dalam ekspedisi utaranya.
Jiang kemudian memaksa para panglima perang untuk menyerah dan membangun pemerintahan nasional Tiongkok, dengan demikian zaman para panglima perang berakhir sudah.
Tahun 1928, Zhang makin bersikap tidak kooperatif dengan pemerintah Jepang di Manchuria dan dia berangkat ke Beijing untuk menyerah pada Jiang.
Akibatnya dia dihabisi oleh Jepang dengan cara mengebom kereta yang ditumpanginya dalam perjalanan pulang ke Shenyang setelah baru saja menyerahkan kontrol atas Beijing kepada pemerintah nasionalis Guomindang yang dipimpin Jiang Jieshi.
Pembunuhan ini dilaksanakan oleh sekelompok kecil tentara dari pasukan Guandong dan dipimpin oleh perwira senior pasukan Guandong, Kolonel Daisaku Komoto.
Baca Juga: Erick Thohir Minta Tambahan Anggaran Sebesar Rp33,34 Miliar, Legislator: Kecil Banget
Ini adalah bagian dari persekongkolan untuk mengamankan sebagian besar Manchuria di luar jalur kereta api Manchuria selatan yang diserahkan pada Jepang setelah perang Rusia-Jepang.