$$6 y{\left(x \right)} - 5 \frac{d}{d x} y{\left(x \right)} + \frac{d^{2}}{d x^{2}} y{\left(x \right)} = \left(x - 1\right)^{2}$$

Дано уравнение:
$$6 y{\left(x \right)} - 5 \frac{d}{d x} y{\left(x \right)} + \frac{d^{2}}{d x^{2}} y{\left(x \right)} = \left(x - 1\right)^{2}$$
Это дифф. уравнение имеет вид:

y'' + p*y' + q*y = s,

где
$$p = -5$$
$$q = 6$$
$$s = - \left(x - 1\right)^{2}$$
Называется линейным неоднородным
дифф. ур-нием 2-го порядка с постоянными коэффициентами.
Решить это ур-ние не представляет особой сложности
Решим сначала соответствующее линейное однородное ур-ние

y'' + p*y' + q*y = 0

Сначала отыскиваем корни характеристического ур-ния
$$q + \left(k^{2} + k p\right) = 0$$
В нашем случае характ. ур-ние будет иметь вид:
$$k^{2} - 5 k + 6 = 0$$
Подробное решение простого уравнения
- это простое квадратное ур-ние
Корни этого ур-ния:
$$k_{1} = 2$$
$$k_{2} = 3$$
Т.к. характ. ур-ние имеет два корня,
и корни не имеют комплексный вид, то
решение соотв. дифф. ур-ния имеет вид:
$$y{\left(x \right)} = C_{1} e^{k_{1} x} + C_{2} e^{k_{2} x}$$
$$y{\left(x \right)} = C_{1} e^{2 x} + C_{2} e^{3 x}$$

Мы нашли решение соотв. однородного ур-ния
Теперь надо решить наше неоднородное уравнение

y'' + p*y' + q*y = s

Используем метод вариации произвольной постоянной
Считаем, что C1 и C2 - это функции от x

И общим решением будет:
$$y{\left(x \right)} = \operatorname{C_{1}}{\left(x \right)} e^{2 x} + \operatorname{C_{2}}{\left(x \right)} e^{3 x}$$
где C1(x) и C2(x)
согласно методу вариации постоянных найдём из системы:
$$\operatorname{y_{1}}{\left(x \right)} \frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} + \operatorname{y_{2}}{\left(x \right)} \frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} = 0$$
$$\frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} \frac{d}{d x} \operatorname{y_{1}}{\left(x \right)} + \frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} \frac{d}{d x} \operatorname{y_{2}}{\left(x \right)} = f{\left(x \right)}$$
где
y1(x) и y2(x) - линейно независимые частные решения ЛОДУ,
y1(x) = exp(2*x) (C1=1, C2=0),
y2(x) = exp(3*x) (C1=0, C2=1).
А свободный член f = - s, или
$$f{\left(x \right)} = \left(x - 1\right)^{2}$$
Значит, система примет вид:
$$e^{3 x} \frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} + e^{2 x} \frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} = 0$$
$$\frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} \frac{d}{d x} e^{2 x} + \frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} \frac{d}{d x} e^{3 x} = \left(x - 1\right)^{2}$$
или
$$e^{3 x} \frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} + e^{2 x} \frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} = 0$$
$$3 e^{3 x} \frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} + 2 e^{2 x} \frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} = \left(x - 1\right)^{2}$$
Решаем эту систему:
$$\frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} = \left(- x^{2} + 2 x - 1\right) e^{- 2 x}$$
$$\frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} = \left(x^{2} - 2 x + 1\right) e^{- 3 x}$$
- это простые дифф. ур-ния, решаем их
$$\operatorname{C_{1}}{\left(x \right)} = C_{3} + \int \left(- x^{2} + 2 x - 1\right) e^{- 2 x}\, dx$$
$$\operatorname{C_{2}}{\left(x \right)} = C_{4} + \int \left(x^{2} - 2 x + 1\right) e^{- 3 x}\, dx$$
или
$$\operatorname{C_{1}}{\left(x \right)} = C_{3} + \frac{\left(2 x^{2} - 2 x + 1\right) e^{- 2 x}}{4}$$
$$\operatorname{C_{2}}{\left(x \right)} = C_{4} + \frac{\left(- 9 x^{2} + 12 x - 5\right) e^{- 3 x}}{27}$$
Подставляем найденные C1(x) и C2(x) в
$$y{\left(x \right)} = \operatorname{C_{1}}{\left(x \right)} e^{2 x} + \operatorname{C_{2}}{\left(x \right)} e^{3 x}$$
Получаем окончательный ответ:
$$y{\left(x \right)} = C_{3} e^{2 x} + C_{4} e^{3 x} + \frac{x^{2}}{6} - \frac{x}{18} + \frac{7}{108}$$
где C3 и C4 есть константы

$$y{\left(x \right)} = C_{1} e^{2 x} + C_{2} e^{3 x} + \frac{x^{2}}{6} - \frac{x}{18} + \frac{7}{108}$$