மதிமுக அவைத் தலைவர் திருப்பூர் துரைசாமி, கட்சியின் அனைத்து பொறுப்புகளில் இருந்தும் விலகல்!