هر منطقه به دلیل رودخانه، چشمه و یا پوشش گیاهی مناسب، تعدادی از مردم را به سوی خود جلب می کند و آن، محل سکنای انسانها می گردد، آنچه در مورد تاریخچه ی این روستا می توانیم از خان ها به دلیل وجود زمینهای مساعد و آب، به این منطقه وارد شدند و به ساختن خانه های گلی مطابق با ساختار آن زمان پرداختند، تشکیل خانواده دادند و دهکده ای ( روستایی) را به وجود آوردند که نامش را خانسر گذاشتند.
وجه تسمه ی این روستا به همان دوره بر می گردد. افرادی، با نامهای خان بابا، ارباب تقی و ارباب ربیعیان، جزء اولین کسانی بودند که به این محل آمدند، در همان زمان آن محل را به خاطر خان ها و ارباب ها به نام خانسر بنا نهادند.