функция pow и long int вызывают проблемы

В вашем коде есть смесь беззнаковых и подписанных чисел - вы должны стараться избегать этого, когда это возможно. Также вы пытаетесь использовать %llu для подписанного длинного длинного - в этом случае вы должны использовать %lld.

Но здесь есть более тонкая проблема. В этой строке:

long long encrypt =(long long)pow((double) num,3) % 33;

pow возвращает double, что не гарантирует всей точности, которую вы ищете. В конечном итоге вы потеряете несколько цифр, когда будете приводить к long long. К сожалению, C не предоставляет хорошей альтернативы для вычисления экспонент, поэтому вам нужно будет что-то реализовать самостоятельно или использовать библиотеку (некоторые из других ответов предложили некоторые).

Если вы хотите реализовать его самостоятельно, в Википедии можно найти отличную статью о быстром возведении в степень с помощью возведения в квадрат: возведение в квадрат

Они предоставляют некоторый псевдокод, который должен быть очевиден для кодирования на C.

Но, наконец, в целом ваш код будет ограничен размером long long или любым другим типом, который вы выберете. В конечном счете, для больших чисел вы должны использовать другую библиотеку или найти лучший алгоритм. В этом случае вы вычисляете степень, а затем берете модуль — это именно то, что могут сделать алгоритмы модульного экспонирования без необходимости иметь дело с этими библиотеками. Вы можете найти статью в Википедии здесь: Modular Exponentiation

одно предложение состояло в том, чтобы использовать другой тип данных, например long long:

3255859^3 ==  34514116960466804779
ULLONG_MAX == 18446744073709551615  // this is the minimum guaranteed

Таким образом, unsigned long long может не работать. В целом изменение типов данных имеет ограничения. Другой более надежный подход, который вы можете рассмотреть, — это использование без GMP. руководство по gmp --

-- вы также можете скачать gmp на этом сайте.

фрагмент кода:

#include <stdio.h>
#include <stdlib.h>
#include <math.h>
#include <gmp.h>

int main()
{
    mpz_t rop, base, exp, mod;
    mpz_init2(rop,128); 
    mpz_init2(base,128); 
    mpz_init2(exp,128); 
    mpz_init2(mod,128);
    mpz_set_ui(base, 3255859);
    mpz_set_ui(exp, 3);
    mpz_set_ui(mod, 33);
    mpz_powm_sec (rop, base, exp, mod);
    gmp_printf ("result %Zd\n", rop);    
    return 0;
}

Пока ваши числа не превышают половины размера шрифта, с которым вы работаете, вы можете сделать что-то вроде этого:

(((num * num) % 33) * num) % 33

В общем, для чего-либо практичного в криптографических целях вам потребуются гораздо большие значения и вычислительная среда для работы с 1024+ битовыми числами. Для этого вы можете использовать существующий код (я бы рекомендовал libtommath из libtomcrypt, определенно не GMP) или написать свой собственный.