В некоторых источниках датой постройки называют 1870-й год, в других — начало 80-х годов XIX века. Заказал неоготический замок барон фон Ган (фон Хан). Он любил порядок, в быту отличался аскетизмом, к крестьянам относился строго, но справедливо. Когда в начале ХХ века в Российской империи начались волнения, барон защитил своих крестьян от подозрений, заявив, что среди них нет бунтовщиков. Умер барон накануне Первой мировой, усадьба перешла во владение младшего сына. Младший барон воевал в русской армии, а в 1920-ые годы вместе с женой и детьми навсегда уехал в Германию.
В годы Первой Республики в замке находилась латышская школа. Работала она и во время Второй мировой войны, в ней училась Велта Сталтмане (1926-2010), в будущем видный лингвист, специалист по балтийским и славянским языкам, сотрудница Института языкознания Академии наук СССР. В советское время в Червонской усадьбе также была школа, но недолго. В течение десятилетий в замке находились правление колхоза, дом культуры и библиотека.
Сейчас в баронском доме расположились правление Вецсалиенской волости, библиотека и почтовое отделение. Рядом с замком — парк площадью три гектара. Замок и парк — излюбленные места для фотосессий молодоженов, а в самом замке ежегодно регистрирует браки примерно треть всех пар Даугавпилсского края.
В 2020 году по инициативе Даугавпилсской краевой думы выпущена сувенирная монета с изображением замка, автор — художница Лига Чибле.
