解析：
由题意可知会法文是会日文人数的2倍，可知会法文的人数是偶数，且会法文比会英文多4人，则会英文的人数为偶数，已知小李是唯一掌握一种以上外语的人且小李会英语，则只会英文的人数为奇数，排除A项与B项。代入C项，若只会英文的有3人，则会英文的人数为人（1人指小李），会法文的有人，会日文的有人，根据三集合标准型公式：人，排除C项。
故正确答案为D。