如果男女双方在离婚协议中已经约定了，并且这一份离婚协议已经经过民政局盖章，并且经过双方的签字，即离婚协议已经生效。并且双方在离婚之后，两个孩子抚养权都归男方，并且两个孩子在双方离婚之后，也都是由男方直接抚养的，那么此时两个孩子的抚养权应该都是男方的，也就不存在男方要回抚养权的这一说法。
从题目中可以看出，两个孩子由男方直接抚养，但是女方不出抚养费，那么题主的问题应该是聚焦在男方是不是可以起诉要求女方支付抚养费。
根据法律规定，离婚律师认为男女双方在离婚之后，如果还是具有一方抚养，那么另一方是有支付孩子抚养费的义务的，具体抚养费支付数额，双方可以在离婚时经协商；如果协商不成，也可以走法院的诉讼程序，由法院进行判决。
那么此时因为男女双方两个人已经协议离婚了，那么我们主要是看两个人在离婚协议之中，是如何约定抚养费事宜的。因此需要去看具体的离婚协议内容。
如果离婚协议中已经约定了，女方应当支付具体抚养费数额，以及女方应当支付抚养费的支付方式。但是女方在离婚之后，并没有按照离婚协议的约定去支付抚养费，那么此时男方可以以孩子的名义提起抚养费纠纷。要求女方按照离婚协议的约定，去按时按量地支付抚养费。
如果离婚协议中没有约定抚养费，或者男女双方两个人在离婚协议中已经约定了女方无需支付抚养费。那么此时，男方还是可以以孩子的名义向法院提起抚养费纠纷。依据当前孩子日常的花销以及对方的收入水平。请求法院依法判决女方应当支付的数额。但是没有约定抚养费和约定女方无需支付抚养费，在诉讼风险上还是有差别的，如果没有约定抚养费，那么法院一般会判决女方去支付抚养费；如果双方约定女方无需支付抚养费，那么此时男方还需要去举报自己目前的收入已经无力独立去抚养两个孩子，需要女方给予一定的经济帮助，从而才能让孩子更好地成长，最大限度的保护孩子的利益。