Politeknik Mersing Johor (PMJ) adalah diantara 8 politeknik baru yang dibina di bawah Rancangan Malaysia ke-9. PMJ memulakan operasi pada 12 Mei 2008.

Walaubagaimanapun operasi pentadbirannya bermula pada 1 Ogos 2008 dan merupakan politeknik ke 25  yang ditubuhkan di bawah Kementerian Pengajian Tinggi Malaysia.

Penubuhan PMJ ini selaras dengan dasar kerajaan untuk melahirkan lebih ramai pekerja separa profesional yang berkualiti bagi menampung keperluan sektor awam dan swasta. Politeknik Mersing Johor memulakan pengambilan pertama pelajar pada sesi Januari 2009 dengan kursus Diploma Teknologi Maklumat (Rangkaian).

Seramai 14 orang pelajar Diploma Teknologi Maklumat (Rangkaian) sebagai kumpulan pertama yang mengikuti pengajian PMJ. Bagi sesi Julai 2009, pengambilan kedua pelajar adalah seramai 30 orang bagi kursus yang sama.

Namun, bermula sesi januari 2010, kursus Diploma Perdagangan (Sains Kesetiausahaan) telah dilaksanakan. Dengan komitmen PMJ sebagai institusi pendidiklan, pengambilan pelajar akan ditingkatkan pada setiap semester bagi memenuhi keperluan negara.