Es malo no socializar tanto en la oficina o no hacer amigos / asistir a reuniones sociales despues de trabajar?

Mi trabajo consiste en estar en mucha comunicación con lo que son los dueños y altos mandos de la empresa, a pesar de que en la oficina donde estoy esta RH, el supervisor general, marketing, etc que en teoria por el organigrama mi jefe directo es RH, pero recibo mas ordenes del director general y de sus familiares y en ocasiones me salto esa cadena de mando, y asi mismo no me la paso mucho en oficina ni asisto a las fiestas que organizan entre ellos, mas bien termino siendo invitado a convivios en las areas donde esta el director o por sus familiares, la pregunta es si eso puede traerme conflictos con RH? Ya que hoy por primera vez me dijo el de RH que se habia sentido sobrepasado por mi debido a que hice un movimiento sin darle aviso a el