মহম্মদ বিন তুঘলকের শাসনকালে জনৈক মুসলিম কুস্তিগির গাজী এ অঞ্চলে বসতি স্থাপন করেছিলেন এবং তিনি বহুদিন সাফল্যের সঙ্গে এ অঞ্চল শাসন করেছিলেন। এ কুস্তিগির/পাহলোয়ান গাজীর নামানুসারেই এ অঞ্চলের নাম রাখা হয় গাজীপুর বলে লোকশ্রুতি রয়েছে। আরেকটি জনশ্রুতি এ রকম যে, সম্রাট আকবরের সময় চব্বিশ পরগনার জায়গিরদার ছিলেন ঈশা খাঁ। এই ঈশা খাঁরই একজন অনুসারীর ছেলের নাম ছিল ফজল গাজী। যিনি ছিলেন ভাওয়াল রাজ্যের প্রথম ‘প্রধান’। তারই নাম বা নামের সঙ্গে যুক্ত ‘গাজী’ পদবি থেকে এ অঞ্চলের নাম রাখা হয় গাজীপুর। তবে, গাজীপুরের আগের নাম জয়দেবপুর এবং তারও আগের নাম ভাওয়াল। ভাওয়ালের জমিদার ছিলেন জয়দেব নারায়ণ রায় চৌধুরী। বসবাস করার জন্য এ জয়দেব নারায়ণ রায় চৌধুরী পীরাবাড়ি গ্রামে একটি গৃহ নির্মাণ করেছিলেন। গ্রামটি ছিল চিলাই নদীর দক্ষিণ পাড়ে। এ সময় ওই জমিদার নিজের নামের সঙ্গে মিল রেখে এ অঞ্চলটির নাম রাখেন ‘জয়দেবপুর’ এবং এ নামই বহাল ছিল মহকুমা হওয়ার আগ পর্যন্ত। যখন জয়দেবপুরকে মহকুমায় উন্নত করা হয়, তখনই এর নাম পাল্টে জয়দেবপুর রাখা হয়। উল্লেখ্য, এখনো অতীতকাতর-ঐতিহ্যমুখী স্থানীয়দের অনেকেই জেলাকে ‘জয়দেবপুর’ বলেই উল্লেখ করে থাকেন।