Продовжував брати участь в анархо-комуністичній організації, приятелював із Нестором Махном, Петром Аршиновим та ін. 25 травня 1926 застрелив у Парижі Симона Петлюру, і був заарештований на місці злочину. Українська діаспора звинуватила Шварцбарда, що той радянський агент. Згідно з даними українського історика Михайла Палія до Парижу прибув агент ДПУ Михаїл Володін, і після зустрічі з ним Шварцбард почав стежити за Петлюрою.