Tahun ajaran baru telah tiba, yang berarti para anggota senior Klub Musik Ringan kini telah menjadi siswa tahun ketiga, dengan Azusa Nakano sebagai satu-satunya siswa tahun kedua. Para siswa senior segera menyadari bahwa Azusa akan menjadi satu-satunya anggota yang tersisa setelah mereka lulus dan memutuskan untuk merekrut anggota baru. Meskipun telah mencoba berbagai cara untuk menarik siswa kelas bawah—membagikan brosur, membawa orang-orang ke ruang klub, dan tampil di upacara penyambutan—tidak ada tanda-tanda ada yang berencana untuk bergabung.

Saat menuju ruang klub, Azusa mendengar Yui Hirasawa mengatakan bahwa klub tersebut baik-baik saja dengan hanya lima orang dan mereka dapat melakukan banyak hal menyenangkan bersama. Setelah berubah pikiran, dia memutuskan bahwa mereka tidak perlu merekrut anggota untuk sementara waktu.

K-On!! berkisah tentang para anggota Klub Musik Ringan saat mereka menjalani kehidupan sekolah menengah mereka sehari-hari. Dari berlatih untuk konser hingga sekadar bermain-main, mereka siap untuk membuat tahun terakhir mereka bersama menjadi tahun yang menyenangkan!