Дима!
Твой снимок пожоже сделан, когда маска лежит на белом листе. Снимок надо делать так, чтобы белый лист освещался не через светофильтр маски. Иначе получится, что светофильтр 2 раза воздействует на световой поток: сначала освещая лист, затем отражается от листа и снова идет через фильтр к фотоаппарату. То есть маску лучше держать на некотором расстоянии перед объективом, а не класть на белый лист.
И еще: надо снимать без вспышки, и максимально убрать блики на поверхности светофильтра, чтобы отраженный от его поверхности свет не искажал результатов.
Андрей.