$$y{\left(x \right)} - 2 \frac{d}{d x} y{\left(x \right)} + \frac{d^{2}}{d x^{2}} y{\left(x \right)} = 2 x e^{x}$$

Дано уравнение:
$$y{\left(x \right)} - 2 \frac{d}{d x} y{\left(x \right)} + \frac{d^{2}}{d x^{2}} y{\left(x \right)} = 2 x e^{x}$$
Это дифф. уравнение имеет вид:

y'' + p*y' + q*y = s,

где
$$p = -2$$
$$q = 1$$
$$s = - 2 x e^{x}$$
Называется линейным неоднородным
дифф. ур-нием 2-го порядка с постоянными коэффициентами.
Решить это ур-ние не представляет особой сложности
Решим сначала соответствующее линейное однородное ур-ние

y'' + p*y' + q*y = 0

Сначала отыскиваем корни характеристического ур-ния
$$q + \left(k^{2} + k p\right) = 0$$
В нашем случае характ. ур-ние будет иметь вид:
$$k^{2} - 2 k + 1 = 0$$
Подробное решение простого уравнения
- это простое квадратное ур-ние
Корень этого ур-ния:
$$k_{1} = 1$$
Т.к. корень характ. ур-ния один,
и не имеет комплексный вид, то
решение соотв. дифф. ур-ния имеет вид:
$$y{\left(x \right)} = C_{1} e^{k_{1} x} + C_{2} x e^{k_{1} x}$$
Подставляем $$k_{1} = 1$$
$$y{\left(x \right)} = C_{1} e^{x} + C_{2} x e^{x}$$

Мы нашли решение соотв. однородного ур-ния
Теперь надо решить наше неоднородное уравнение

y'' + p*y' + q*y = s

Используем метод вариации произвольной постоянной
Считаем, что C1 и C2 - это функции от x

И общим решением будет:
$$y{\left(x \right)} = x C_{2}{\left(x \right)} e^{x} + C_{1}{\left(x \right)} e^{x}$$
где C1(x) и C2(x)
согласно методу вариации постоянных найдём из системы:
$$y_{1}{\left(x \right)} \frac{d}{d x} C_{1}{\left(x \right)} + y_{2}{\left(x \right)} \frac{d}{d x} C_{2}{\left(x \right)} = 0$$
$$\frac{d}{d x} C_{1}{\left(x \right)} \frac{d}{d x} y_{1}{\left(x \right)} + \frac{d}{d x} C_{2}{\left(x \right)} \frac{d}{d x} y_{2}{\left(x \right)} = f{\left(x \right)}$$
где
y1(x) и y2(x) - линейно независимые частные решения ЛОДУ,
y1(x) = exp(x) (C1=1, C2=0),
y2(x) = x*exp(x) (C1=0, C2=1).
А свободный член f = - s, или
$$f{\left(x \right)} = 2 x e^{x}$$
Значит, система примет вид:
$$x e^{x} \frac{d}{d x} C_{2}{\left(x \right)} + e^{x} \frac{d}{d x} C_{1}{\left(x \right)} = 0$$
$$\frac{d}{d x} x e^{x} \frac{d}{d x} C_{2}{\left(x \right)} + \frac{d}{d x} C_{1}{\left(x \right)} \frac{d}{d x} e^{x} = 2 x e^{x}$$
или
$$x e^{x} \frac{d}{d x} C_{2}{\left(x \right)} + e^{x} \frac{d}{d x} C_{1}{\left(x \right)} = 0$$
$$\left(x e^{x} + e^{x}\right) \frac{d}{d x} C_{2}{\left(x \right)} + e^{x} \frac{d}{d x} C_{1}{\left(x \right)} = 2 x e^{x}$$
Решаем эту систему:
$$\frac{d}{d x} C_{1}{\left(x \right)} = - 2 x^{2}$$
$$\frac{d}{d x} C_{2}{\left(x \right)} = 2 x$$
- это простые дифф. ур-ния, решаем их
$$C_{1}{\left(x \right)} = C_{3} + \int \left(- 2 x^{2}\right)\, dx$$
$$C_{2}{\left(x \right)} = C_{4} + \int 2 x\, dx$$
или
$$C_{1}{\left(x \right)} = C_{3} - \frac{2 x^{3}}{3}$$
$$C_{2}{\left(x \right)} = C_{4} + x^{2}$$
Подставляем найденные C1(x) и C2(x) в
$$y{\left(x \right)} = x C_{2}{\left(x \right)} e^{x} + C_{1}{\left(x \right)} e^{x}$$
Получаем окончательный ответ:
$$y{\left(x \right)} = C_{3} e^{x} + C_{4} x e^{x} + \frac{x^{3} e^{x}}{3}$$
где C3 и C4 есть константы

$$y{\left(x \right)} = \left(C_{1} + x \left(C_{2} + \frac{x^{2}}{3}\right)\right) e^{x}$$