ابهر در قدیم اوهر نامیده میشدهاست. مردم محلی به آن اَبَر میگویند. نام ابهر از آب+هر تشکیل شده و در زبان تاتی به معنی آب آسیاب است. ریزابههای ابهررود از قدیم آسیابهای زیادی را به چرخش در آورده که امروزه نیز چنین است.در دوره ساسانیان هنگامی که خسرو اول انوشیروان ایران را به چهار قسمت تقسیم کرد ابهر در منطقه دوم یعنی استان جبال قرار داشت دراین دوره منطقه ابهررود تحت تسلط خاندان مهران یکی از هفت خاندان مهم حکومت گر ایران قرار داشت این خاندان علاوه بر ابهر به مناطق وسیعی که از ناحیه خوار تا آوج و دشتبی امتداد داشت مالکیت داشتند و معروفترین افرادی که از این خاندان شناخته شدهاند شروین دشتبی، بهرام چوبینه، پیران گشسب، گریگوریوس و سیاوش رازی هستند.
تاپیش از خلافت هارون الرشید، ابهر منطقه نسبتاً وسیعی را شامل بود. وی قسمتی از قاقازان و نیز ناحیه ابهر رود را از ابهر جدا کرد و به قزوین ملحق ساخت. در اوایل سده ۸ قمری ولایت ابهر ۲۵ پاره دیه داشت و حقوق دیوانی آن به یک تومان و چهار هزار دینار میرسید.
از ابهر به عنوان بلوک معتبر از ولایت خمسه با باغات فراوان و آبهای جاری نام برده شدهاست. شاردن مینویسد ابهر در دوره شاه عباس دوم صفوی دارای ۲۵۰۰ خانه و باغچه بودهاست. چنانچه سواره نیم ساعت وقت لازم داشته تا از آن عبور کند. ابهر در این زمان دارای اماکن عمومی و سه مسجد بزرگ بوده و در وسط شهر بقایای گلین قلعه مخروبهای مشاهده میشود.
در سال ۱۱۰۰ هجری تاورنیه از ارامنه شهر ابهر خبر داده و ژوبر در زمان فتحعلیشاه قاجار باغهای ابهر و خانههای تمیز و راحت آنرا ستودهاست. در سال ۱۲۴۷ هجری ابهر ۷۰۰ خانه و باغهای دانشین داشته و قبر شیخ قطب الدین از مشایخ سلسله شیخ صفی الدین اردبیلی در ابهر واقع شده بر طبق نوشته دوسرسی در سالهای ۱۲۵۰ هجری دوره محمد شاه قاجار ابهر دارای ۲۰۰ خانه و ۹۰۰ نفر جمعیت بوده و دو گنبد نیمه ویران از دو مسجد در آن دیده میشدهاست. در دوره ناصر الدین شاه قاجار ابهر تیول توپخانه بودهاست چنانچه خرمدره در تیول فراشخانه بوده در همین دوره قلعه خرابهای بنام دارا در ربع فرسخی شهر دیده میشدهاست و خانههای آن کمتر از ۱۱۰۰ نبوده. در سده ۱۰ قمری از مرقد پیر حسن بن اخی اوران نیز در ابهر یاد شده و سیدی علی کاتبی دریاسالار عثمانی در ۹۶۴ ه. ق. آنرا زیارت کردهاست.