La historia de su paternidad es confusa. La versión más conocida es que Zeus se metamorfoseó en cisne y sedujo así a Leda. Por esto se dice con frecuencia que los hijos de Leda salieron de dos huevos que ésta puso. Sin embargo, otras muchas fuentes afirman que el marido mortal de Leda, el rey Tíndaro de Lacedemonia, fue en realidad el padre de algunos de los hijos, por lo que a menudo eran llamados con el patronímico Tindáridas. La cuestión de qué hijos eran mortales o medio inmortales y cuáles nacieron de un huevo u otro depende de la fuente: a veces se dice que Cástor y Pólux eran ambos mortales, y a veces que inmortales. Lo que sí coincide es que si sólo uno de ellos es considerado inmortal, éste era Pólux.Cástor era famoso por su habilidad para domar caballos y cabalgarlos y Pólux por su destreza en el boxeo.
Cuando Teseo y Pirítoo secuestraron a su hermana Helena y la llevaron a Afidna, los Dioscuros la rescataron y raptaron en venganza a la madre de Teseo, Etra. También acompañaron a Jasón en el Argo. Durante el viaje, Pólux mató al rey Ámico en un combate de boxeo.
Cuando Astidamía, reina de Yolco, ofendió a Peleo, los Dioscuros le ayudaron devastar su país.
Cástor y Pólux raptaron a las hijas de Leucipo, Hilaira y Febe, y se casaron con ellas. Por esto, Idas y Linceo, sobrinos de Leucipo (o pretendientes rivales), mataron a Cástor. Pólux, que había recibido el don de la inmortalidad de Zeus, convenció a su padre para que lo concediera también a Cástor. Así, ambos se alternaban como dioses en el Olimpo y como mortales fallecidos en el Hades. Esto es, uno vivía seis meses en la Tierra, mientras el otro descansaba en los infiernos, y viceversa.
