解析：
假设组成的实心正三角形每个边有个花盆，则原有花盆数量为。减少4盆后，数量为，可组成一个实心正方形（每个边至少2个花盆），可判定其为平方数。要想最外层花的盆数少，则原有花盆数应尽可能少，即的值应尽可能小，取值验证。
若，为非整数，排除；
若，为非整数，排除；
若，为非整数，排除；
若，为非整数，排除；
若，为9，满足。此时原有花盆。
当花盆共有40个时，设实心矩形长宽，则。要让最外层的花盆数最少，即长宽和最少。根据数学知识“当为定值时，与越接近，其和越小”，则当、时，其长宽和最小。
对最外层花盆计数时，每个端点的花盆会重复计数，故最外层的。
故正确答案为D。