Penubuhan sekolah di Mukim Batu Yon telah bermula sebelum Perang Dunia Pertama, kira-kira pada tahun 1914. Penubuhan sekolah ini telah diasaskan oleh Yang Mulia Dato’ Wan Mohamad, Dato’ Orang Kaya Indera Maharaja Perba Jelai. Pentadbiran sekolah ini adalah di bawah naungan Kerajaan British. Pada masa itu Sir Hugh Clifford menjadi Residen Inggeris yang Pertama di Pahang.


Di peringkat awal penubuhan sekolah ini bangunan sekolah hanyalah sebuah bangsal yang dibina secara bergotong - royong dan memuatkan seramai 25 hingga 40 orang murid . Guru pertama yang mengajar di sekolah ini ialah Cikgu Kassim Bin Ali yang berasal dari Mela.


Dalam tahun 1962, bangunan sekolah telah dipindahkan ke Bukit Belulang yang terletak berhampiran Makam Keramat Yon iaitu orang yang mula-mula membuka Kampung Batu Yon dan sempena memperingati jasa beliau nama sekolah ini dinamakan sebagai SK Batu Yon.


Pada tahun 1974 sekolah ini telah dipindahkan ke Kampung Bukit Betong untuk menampung jumlah pelajar yang semakin bertambah sebuah bangunan tambahan telah dibina pada tahun 1981 dan telah siap di bina pada 23 Mei 1981.


Pada tahun 2001 sebuah bangunan baru tiga tingkat telah di bina. Ianya siap dan mula beroperasi pada tahun 2003.