Sekolah Kebangsaan Batu Gajah yang beberapa dekad dahulu diberi nama Sekolah Melayu Batu Gajah. Pada pertengahan 1950-an disebut pula Sekolah Umum Batu Gajah. Letaknya bangunan ini kira-kira 28 kilometer dari bandar Melaka. Sekolah ini dinamakan mengambil sempena nama kampung tempat bangunan ini didirikan iaitu Kampung Batu Gajah dalam daerah Jasin, Melaka.
Pada pertengahan 1986 sekolah ini telah mendapat bangunan baru berbentuk tiga tingkat yang serba lengkap dengan bilik-bilik darjah, bilik sembahyang, bilik wuduk, bilik tayang, bilik sumber, stor, bilik air, bilik pejabat dan bilik darjah yang boleh diubahsuaikan menjadi dewan. Bangunan ini dibina bagi menggantikan bangunan lama yang telah usang yang dibina pada tahun 1937.
Sebelum ini sebuah bangunan tambahan berbentuk dua tingkat yang diperbuat daripada batu telah dibina dan dirasmikan pembukaannya oleh Yang Amat Berhormat Encik Mohd Adib bin Haji Mohd Adam, Ketua Menteri Melaka pada 15 Januari 1981.
Sebelum wujud sekolah ini anak-anak penduduk Kampung Batu Gajah telah disekolahkan di Sekolah Melayu Sebatu yang letaknya 6 kilometer dari sini. Murid-murid ini terpaksa berjalan kaki melalui lorong-lorong semak belukar, tepi-tepi parit dan dalam kebun kelapa pada setiap hari. Dengan perjalanan serba sulit ini hanya murid lelaki yang dapat disekolahkan. Tambahan pula anak perempuan tidak digalakkan untuk bersekolah oleh ibu bapa mereka.
Setelah menyedari betapa pentingnya pelajaran, penduduk Kampung Batu Gajah berhasrat mempunyai bangunan sekolahnya sendiri agar anak-anak mereka tidak berulang-alik di tempat jauh dan juga membolehkan anak-anak perempuan bersekolah. Dengan diketuai oleh Datuk Sidang Bedol bin Anjang dan penduduk kampung, akhirnya mereka telah berjaya membina sebuah bangunan bawah, berbumbung limas beratapkan rumbia, dindingnya separuh papan dan dibuatkan bidai dari ranggam rumbia dan digantungkan disekeliling sekolah bagi mengelakkan tempias hujan. Pada 13 Oktober 1930, bangunan ini mula dirasmikan penggunaannya dengan seramai 30 orang murid mendaftar di darjah satu, guru pertamanya ialah Cikgu Baba bin Abdul Samat.
Pada 12 Disember 1937, sebuah lagi bangunan iaitu bangunan satu tingkat berbentuk 'L' telah dibina kerana bilangan murid semakin meningkat. Bangunan ini bertiangkan batu, lantainya bersimen, lantai atasnya papan dinding, papan tingkapnya diperbuat daripada ranggam dari pokok enau dan beratap genting. Dua buah tangga simen dibina dihujung dan di pangkal bangunan sekolah. Serentak dengan itu juga dibina sebuah perigi berdinding batu sekat dua, beberapa tandas curah serta 2 pintu rumah guru.
Kini bangunan yang dibina pada tahun 1937 itu telah dirobohkan pada tahun 1985. Bangunan rumah guru, perigi dan tandas curah telah lebih awal dimusnahkan untuk dibuat bangunan yang didirikan dalam tahun 1978.
Ketika tercetusnya Peperangan Dunia ke-2 pada tahun 1941, sekolah ini telah dijadikan markas Tentera Bersekutu. Apabila pihak Tentera Bersekutu berundur, sekolah ini dibuka semula dengan keutamaan bahasa Jepun sebagai bahasa utamanya.Dari tahun 1942 hingga kini, sekolah ini telah berkembang dengan pesat.
