Di masa depan yang misterius, organisme kristal yang disebut Permata menghuni dunia yang telah dihancurkan oleh enam meteor. Setiap Permata diberi peran untuk berperang melawan orang-orang bulan, spesies yang menyerang mereka untuk menghancurkan tubuh mereka dan menggunakannya sebagai dekorasi.
Phosphophyllite, juga dikenal sebagai Phos, adalah Gem muda dan rapuh yang bermimpi membantu teman-teman mereka dalam upaya perang. Sebaliknya, mereka diperintahkan untuk menyusun ensiklopedia karena kondisi mereka yang rumit. Setelah dengan enggan memulai tugas ini, Phos bertemu Cinnabar, permata cerdas yang terdegradasi untuk berpatroli di pulau terpencil pada malam hari karena racun korosif yang diciptakan tubuh mereka. Setelah melihat betapa tidak bahagianya Cinnabar, Phos memutuskan untuk menemukan peran yang bisa dinikmati oleh kedua Permata yang ditolak itu. Houseki no Kuni mengikuti upaya Phos untuk menjadi berguna dan melindungi sesama Permata mereka.
