Los cromosomas son sólo un tercio de la información

Tomemos por ejemplo lo que nos ha enseñado la comunidad LGTBI, la identidad sexual y la preferencia sexual no tienen relación con el sexo cromosómico de un individuo.
Así poder ejemplo existen casos de individuos de cromosomas masculinos que se consideran mujer (identidad de género) y que se operan para serlo, pero que además son lesbianas (preferencia sexual).
Si esto pasa en materia sexual, entonces puede pasar en todo lo demás y por eso digo como hipótesis que los cromosomas sólo representan un tercio de lo que podemos ser.
Cuál es el origen de los dos tercios restantes? Es algo físico también o es algo más?