Sorge su un alto promontorio roccioso, dal quale domina l'abitato di Brusson e gran parte della Val d'Ayas, in posizione decisamente strategica. Graines è un tipico esempio di castello primitivo valdostano, composto essenzialmente da un'ampia cinta muraria di forma irregolare per adattarsi alla natura del terreno, che racchiudeva all'interno altre costruzioni. La torre quadrata, o "donjon", era il mastio del castello, originariamente merlato e privo di copertura a vista. La cappella romanica al suo interno è dedicata a San Martino. Secondo una leggenda sotto i resti del Castello è sepolto un grande tesoro.