1. В скобках IF где условие? 2. printf("%lg %lg ",t1,t2); стоит засунуть в скобки, ибо сейчас оно будет выводится после printf("You are dork!!! "); и что там будет неизвестно, может 0, может случайное число
В if и else - сплошной бред. И зачем они вообще? Чтобы не делил на нуль? Если начнет делить, выдаст соответствующее сообщение. Но если так хочешь... if(x && y){ t1=-a*(1/(b*b*y)+1/(a*b*b*x)-2/(b*b*b)*log(y/x)); t2=1/(2*a*tan(a*x/2))+1/(6*a*pow(tan(a*x/2),3)); printf("%lg %lg ",t1,t2);} else printf("You are dork!!! ");