繼罷免綠委領銜人張克晉宣布退出領銜人一職後，推動罷免藍委羅明才的領銜人吳柏瑋，也發出聲明表示要退出罷免團體，不過，因選罷法規定「領銜人死亡或經提議人總數二分之一以上書面同意者，才可由備補領銜人遞補為領銜人，並以一次為限」，因此罷免領銜人幾乎「下不了車」；對此，吳柏瑋表示，他掌握不了罷團的每份連署書，如有涉法卻都得自己扛，「擔心到睡不著覺」；而罷團志工則透露，團隊其實會擔心「他說不玩就不玩了」，因為吳柏瑋不是第一天說這些，而現在時間上也來不及換領銜人。
台北地檢署日前積極調查罷免綠委吳思瑤和吳沛憶的罷免連署書是否存在偽造問題，並針對國民黨台北市黨部及罷團幹部住處及辦公地進行搜索，北院最終裁定北市黨部主委黃呂錦茹羈押禁見。隨著全台大罷免議題持續發酵，罷免吳思瑤的領銜人張克晉在5月1日宣布退出領銜人一職，表達「希望全國團結一致」的想法。外界解讀，張克晉不願繼續推動罷免的原因與司法調查有關。
罷團「拔羅波」推動罷免羅明才，不過吳柏瑋表示，他身為創始人，卻慘遭工作群組成員「退群」，無奈下只好發出聲明退出罷免團體，不過依照《選罷法》的規定，罷免領銜人幾乎「下不了車」，他眼見國民黨青年軍李孝亮等人因「偽造連署書」爭議，捲入刑事糾紛，他自己也忐忑不安，深怕「不是我做的塞到我包裡」，所以只好一再對外發聲。
吳柏瑋向媒體透露，今年3月初的一場內部會議中，有成員主張要與其他選區的罷團結合，與熱衷罷免藍委的聯電創辦人曾興誠等人合辦記者會，但他擔心這會引起焦點偏離，甚至可能坐實執政黨介入選舉的傳聞，因此建議舉辦「自辦記者會」。
吳柏瑋指出，但是團隊成員不認同他的意見，並冷嘲熱諷，團隊成員主張「媒體根本不會來」和「人手根本不夠」，其他成員還另外建立新的群組將他「冷凍」。更糟糕的是，這些成員所發出的文宣和蒐集的連署書，他在釋出前大多未曾檢視，結果出了問題卻要他一肩扛，因為感到風險過大，最終決定退出這個團體。
不過關於罷團內部的狀況，有地方人士向媒體透露，因吳柏瑋與民進黨新北市議員陳乃瑜交情很好，地方上屢傳吳柏瑋「想選議員」，讓綠營議員陳永福很不是滋味，因為他有意交棒給兒子陳韋任，因此深怕二位年輕男子互搶票源，交棒計畫在黨內初選就「掉棒」。另外，罷團成員「琪琪」近日摘下口罩全妝受訪，地方人士也猜測琪琪是否有意爭取女性保障名額。
對此，陳永福透過擔任特助的兒子陳韋任強調，父子對罷免活動皆不遺餘力；陳韋任表示，他以助理身分跟著父親跑行程爭取認同，沒空也沒有辦法介入誰選不選，民主社會下，大家只能公平競爭，外界不必過度解讀。
而罷團志工向本報透露，琪琪在台東就學，論文尚未完成，要兩邊跑，恐怕無法與議員陳乃瑜「尬選舉」，而吳柏瑋則是自稱身體不舒服所以沒有參與陸戰運作，之前罷團內部討論說先讓他休息；罷團志工指出，雖然目前估計吳柏瑋只是不參與志工活動，最後還是會以領銜人身分送出罷免書，但其實還是很怕吳柏最後不願以領銜人身分送交第二階段連署書，志工的努力恐怕會白費。
