Берзиньш родился 26 сентября 1959 года в Екабпилсском районе. В 1983 году закончил Рижский политехнический институт.
Берзиньш был депутатом 5-го Сейма от Cоюза крестьян Латвии. Участвовал в создании Народной партии, был депутатом 7-го Сейма, затем министром финансов, а в 8-м Сейме возглавлял Бюджетно-финансовую комиссию.
2 декабря 2004 года назначен министром здравоохранения, в октябре 2006 года Берзиньш также был избран в 9-й Сейм.
17 января 2007 года Берзиньш объявил о своей отставке с поста главы Минздрава и уходе из политики по состоянию здоровья.
Берзиньш был владельцем крестьянского хозяйства Delles.
