প্রথম দিকে লালবাগ কেল্লার হাম্মামখানাটি আওরঙ্গবাদ হাম্মাম নামে পরিচিত ছিল। দুর্গের পূর্ব-দক্ষিণে একটি দ্বিতল ইমারতের একাংশে হাম্মাম। কেল্লার সেই দেওয়ান-ই-আম বা দরবার হল ও হাম্মামখানা সংস্কার বা পুনরুদ্ধারের কাজ শুরু হয়েছিল ২০২০ সালের অক্টোবরে। গত ২২ মার্চ নতুন রূপের হাম্মামখানা উদ্বোধন করা হয়।
