根据《中华人民共和国税收征收管理法》和《税务登记管理办法》的规定，新成立的公司应当自领取营业执照或有关部门批准设立之日起30日内办理税务登记。如果纳税人未按照规定的期限申报办理税务登记、变更或者注销登记，税务机关将责令限期改正，并可以处以2000元以下的罚款；情节严重者，罚款金额为2000元以上1万元以下。逾期不改正的情况下，经税务机关提请，工商行政管理机关将吊销其营业执照。
此外，纳税人还应当遵守税务登记证件的使用规定，不得转借、涂改、损毁、买卖或**税务登记证件。违反规定的纳税人将受到2000元以上1万元以下的罚款；情节严重者，罚款金额为1万元以上5万元以下。
因此，新成立的公司务必要办理税务登记，并且按照规定使用税务登记证件。只有通过合法合规的方式履行纳税义务，才能保障企业的正常经营和发展。