В прямоугольном треугольнике АВС катет ас 16 гипотенуза АВ 20

Вообще, это надо рисовать, иначе нифига непонятно (ну и про учебник присоединюсь к Эго Фризу) 
Итак, что мы имеем: треугольник АВС, где угол А=90 градусов, и высота АD делит его на два прямоугольных треугольника. 
Начнем с того, что попроще: треугольник ADB (угол D=90 градусов) , катет AD=12, гипотенуза АВ=20, по теореме Пифагора 20^2=12^2+DB^2 
Таким образом, сторона DB=16 
Теперь рассмотрим второй треугольник, получившийся при делении большого треугольника высотой: 
CDA, где угол D =90 градусов. 
Катет AD=12, катет DC=X, гипотенуза AC=Y 
По все той же теореме Пифагора получаем: 
Y^2=12^2+X^2 
Теперь рассмотрим исходный треугольник АВС 
Катет АВ=20, катет АС=Y (смотри выше) , гипотенуза СВ=X+16 
По теореме Пифагора получаем: 
20^2+Y^2=(X+16)^2 => Y^2=X^2+32X+256-400 => Y^2=X^2+32X-144 
подставляем в уравнение Y^2=12^2+X^2 выраженное значение Y, получаем: 
X^2+32X-144=12^2+X^2 
32X=288 
X=9 

Таким образом, гипотенуза ВС=16+9=25 
Катет АС=15 
Косинус угла С равен отношению прилежащего катета к гипотенузе, т. е. cos C= AC/CB=15/25=3/5