Nama “Pantai Ta Yai” dipercayai berasal daripada sejarah lisan tempatan, merujuk kepada orang tua yang pernah tinggal atau sering menggunakan kawasan ini pada masa lalu. Nama ini mencerminkan cara tradisional menamakan tempat berdasarkan ingatan masyarakat dan bukannya promosi pelancongan, membantu memelihara identiti asal bahagian Koh Larn ini sehingga ke hari ini.