Вызов функции макроса Excel с помощью Excel C API

Это запрещено для вызова команды из функции XLL по соображениям безопасности (особенно для доступа к записи..). В вашем случае Excel не позволяет потоку вычислений, который запускает вашу функцию Xll (A), вызывать вашу зарегистрированную команду (B) и, таким образом, «xlset», потому что в противном случае вы могли бы, например, разбить Excel, изменив ячейку (через команду), которая может — один из аргументов функции (A).

xlSet ведет себя как функция, эквивалентная команде класса 3; то есть он доступен только внутри DLL, когда DLL вызывается из объекта, макроса, меню, панели инструментов, сочетания клавиш или кнопки «Выполнить» в диалоговом окне «Макрос» (доступ на вкладке «Вид» на ленте, начиная с Excel 2007, и меню «Инструменты» в более ранних версиях). источник

Поэтому, если вы хотите использовать xlset, вам необходимо: 1) вызвать его из функции, зарегистрированной как макрос, и 2) вы не можете вызывать этот макрос из своего xll, т.е. макрос должен вызываться конечным пользователем или программой Excel. Объектная модель (VBA, VSTO...).

Что касается ExcelDna, я считаю, что он решает проблему, вызывая макрос (B) из другого потока, COM-сервера, который обращается к объектной модели Excel. В этом случае функция XLL (A) делегирует вызов только потоку, который не ограничен. Но это может быть опасно.

Изменить:

Я разговаривал с ОП в чате, и оказалось, что он хотел расширить область ячейки через объектную модель Excel. Но в этом больше нет необходимости: с осени 2018 года Excel автоматически изменяет размер массива xltypeMulti, возвращаемого UDF (динамический массив).