$$- 10 y{\left(x \right)} + 3 \frac{d}{d x} y{\left(x \right)} + \frac{d^{2}}{d x^{2}} y{\left(x \right)} = 10 x^{2} + 4 x - 5$$

Дано уравнение:
$$- 10 y{\left(x \right)} + 3 \frac{d}{d x} y{\left(x \right)} + \frac{d^{2}}{d x^{2}} y{\left(x \right)} = 10 x^{2} + 4 x - 5$$
Это дифф. уравнение имеет вид:

y'' + p*y' + q*y = s,

где
$$p = 3$$
$$q = -10$$
$$s = - 10 x^{2} - 4 x + 5$$
Называется линейным неоднородным
дифф. ур-нием 2-го порядка с постоянными коэффициентами.
Решить это ур-ние не представляет особой сложности
Решим сначала соответствующее линейное однородное ур-ние

y'' + p*y' + q*y = 0

Сначала отыскиваем корни характеристического ур-ния
$$q + \left(k^{2} + k p\right) = 0$$
В нашем случае характ. ур-ние будет иметь вид:
$$k^{2} + 3 k - 10 = 0$$
Подробное решение простого уравнения
- это простое квадратное ур-ние
Корни этого ур-ния:
$$k_{1} = -5$$
$$k_{2} = 2$$
Т.к. характ. ур-ние имеет два корня,
и корни не имеют комплексный вид, то
решение соотв. дифф. ур-ния имеет вид:
$$y{\left(x \right)} = C_{1} e^{k_{1} x} + C_{2} e^{k_{2} x}$$
$$y{\left(x \right)} = C_{1} e^{- 5 x} + C_{2} e^{2 x}$$

Мы нашли решение соотв. однородного ур-ния
Теперь надо решить наше неоднородное уравнение

y'' + p*y' + q*y = s

Используем метод вариации произвольной постоянной
Считаем, что C1 и C2 - это функции от x

И общим решением будет:
$$y{\left(x \right)} = \operatorname{C_{1}}{\left(x \right)} e^{- 5 x} + \operatorname{C_{2}}{\left(x \right)} e^{2 x}$$
где C1(x) и C2(x)
согласно методу вариации постоянных найдём из системы:
$$\operatorname{y_{1}}{\left(x \right)} \frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} + \operatorname{y_{2}}{\left(x \right)} \frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} = 0$$
$$\frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} \frac{d}{d x} \operatorname{y_{1}}{\left(x \right)} + \frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} \frac{d}{d x} \operatorname{y_{2}}{\left(x \right)} = f{\left(x \right)}$$
где
y1(x) и y2(x) - линейно независимые частные решения ЛОДУ,
y1(x) = exp(-5*x) (C1=1, C2=0),
y2(x) = exp(2*x) (C1=0, C2=1).
А свободный член f = - s, или
$$f{\left(x \right)} = 10 x^{2} + 4 x - 5$$
Значит, система примет вид:
$$e^{2 x} \frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} + e^{- 5 x} \frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} = 0$$
$$\frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} \frac{d}{d x} e^{- 5 x} + \frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} \frac{d}{d x} e^{2 x} = 10 x^{2} + 4 x - 5$$
или
$$e^{2 x} \frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} + e^{- 5 x} \frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} = 0$$
$$2 e^{2 x} \frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} - 5 e^{- 5 x} \frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} = 10 x^{2} + 4 x - 5$$
Решаем эту систему:
$$\frac{d}{d x} \operatorname{C_{1}}{\left(x \right)} = \frac{\left(- 10 x^{2} - 4 x + 5\right) e^{5 x}}{7}$$
$$\frac{d}{d x} \operatorname{C_{2}}{\left(x \right)} = \frac{\left(10 x^{2} + 4 x - 5\right) e^{- 2 x}}{7}$$
- это простые дифф. ур-ния, решаем их
$$\operatorname{C_{1}}{\left(x \right)} = C_{3} + \int \frac{\left(- 10 x^{2} - 4 x + 5\right) e^{5 x}}{7}\, dx$$
$$\operatorname{C_{2}}{\left(x \right)} = C_{4} + \int \frac{\left(10 x^{2} + 4 x - 5\right) e^{- 2 x}}{7}\, dx$$
или
$$\operatorname{C_{1}}{\left(x \right)} = C_{3} + \frac{\left(1 - 2 x^{2}\right) e^{5 x}}{7}$$
$$\operatorname{C_{2}}{\left(x \right)} = C_{4} + \frac{\left(- 5 x^{2} - 7 x - 1\right) e^{- 2 x}}{7}$$
Подставляем найденные C1(x) и C2(x) в
$$y{\left(x \right)} = \operatorname{C_{1}}{\left(x \right)} e^{- 5 x} + \operatorname{C_{2}}{\left(x \right)} e^{2 x}$$
Получаем окончательный ответ:
$$y{\left(x \right)} = C_{3} e^{- 5 x} + C_{4} e^{2 x} - x^{2} - x$$
где C3 и C4 есть константы

$$y{\left(x \right)} = C_{1} e^{- 5 x} + C_{2} e^{2 x} - x^{2} - x$$