Многие прикладные оптимизационные задачи сводятся к поиску экстремумов интегральных функционалов с разрывным интегрантом. Здесь "разрывной" понимается так: не обязательно разрывной. Обычно, в том числе и в монографиях [3, 5], оптимизационные задачи рассматриваются для функционалов, зависящих от операторов дифференцирования. В работах [10, 11] рассматриваются функционалы, зависящие от интегральных операторов, что существенно расширяет круг решаемых задач.
Будем решать вариационную задачу для функционалов с разрывным интегрантом, зависящих от линейных интегральных операторов
(2.1)
где h(t) - экстремаль, относительно которой предполагаем, что 
.
Функционал качества I может зависеть от нескольких операторов
(2.2)
где F[T ]- интегрант, определяющий связь (композицию) операторов F i в функционале I. Интегрант F[T ] может быть непрерывным, гладким, негладким и даже континуально многозначным или разрывным.
Оптимизации методами негладкого анализа посвящена монография Френка Кларка [3], но методику Кларка применить к функционалам, зависящим от интегральных операторов, нельзя, как нельзя ее применять и для функционалов с континуально многозначным или разрывным интегрантом. Кроме того, экстремали у Кларка предполагаются абсолютно непрерывными. Все это несколько сужает область применения негладкой оптимизации Кларка - теории, впитавшей в себя достижения его предшественников, на кoторых он ссылается в своей монографии. Поскольку оптимизируемый функционал зависит от интегральных операторов, метод, использованный в монографии [5], неприменим тоже. В то же время для решения сформулированной задачи достаточно методов вариационного исчисления, теории обобщенных функций и теоремы Фубини [8], поэтому будем поступать так.
Негладкий, континуально многозначный или разрывной интегрант можно представить с помощью функции включения H(x) (1.2) или ее производных, т.е. d -функции (1.5) и ее производных, используя их фильтрующие свойства. При варьировании функционала I все производные будем понимать в обобщенном смысле
. 
Заметим, что этот интеграл теперь имеет математический и физический смыл, а не является "просто символом", как при классическом определении d -функции.
По общему правилу [9-12] введем однопараметрическое семейство кривых 
, где d h(t)-произвольная функция из Lp[a,b], a - малый параметр. Подставляя 
в операторы (2.1), а операторы (2.1) в функционал (2.2) и дифференцируя I по a, получим вариацию функционала d I и приравняем ее нулю:
(2.3)
Теперь, чтобы получить необходимое условие экстремума, надо исключить произвольную функцию из вариации функционала d I. В классическом вариационном исчислении это делается с помощью интегрирования по частям, которое в данном случае неприменимо. Полагая, что к вариации d I применима теорема Фубини [8], одним из условий применимости которой может быть суммируемость произведений
изменим в формуле (2.3) порядок интегрирования [10, 11]
(2.4)
Используя основную лемму вариационного исчисления в формулировке Л.Янга [7], получим аналог уравнения Эйлера для функционалов с континуально многозначным или разрывным интегрантом, зависящих от линейных интегральных операторов, действующих на экстремаль,
(2.5)
Следствие. Если воспользоваться фильтрующим свойством d -функции и ее производных, и обозначить ядра операторов (2.1) через Ki(x,t)=d (i)(x-t), то уравнение (2.5) примет вид уравнения Эйлера
(2.6)
простейшей вариационной задачи [12], но для функционалов с континуально многозначным или разрывным интегрантом
(2.7)
зависящих от искомой функции h(t) и ее производных h(i)(t).
Пример. Задача Дидоны с канавой. В распоряжении царевны имеется веревка заданной длины L, которой следует ограничить участок побережья, причем береговая черта представляется линией x=0 на плоскости Оtx (Рис.2). При этом надо найти кривую длины L, лежащую в полуплоскости 
, соединяющую точки (-1,0) и (1,0), такую что площадь между кривой и осью t максимальна.
Стремясь иметь для примера негладкий интегрант, Кларк модифицировал [3, с.178] задачу Дидоны следующим образом. Он полагает, что для некоторого a >0 земля в области x>a худшего качества и доход с нее составляет только половину дохода с земли в области x<a.
Рис.2. Участок Дидоны с канавой
Доход Д с огороженного участка, ограниченного кривой x(t), равен
(П.1)
где gn[x(t)] = {x(t), если 
; (x+a)/2, если 
}.Следует максимизировать значение дохода Д (интеграла (П.1)) при наличии ограничений
(П.2)
. (П.3)
Далее Кларк использует методы негладкого анализа для решения модифицированной задачи Дидоны. Применение этих методов ограничивается негладкими интегрантами и абсолютно непрерывными экстремалями.
Для частичной иллюстрации возможностей предложенного нами метода решения задач с разрывным интегрантом будем полагать, что участок Дидоны параллельно береговой линии пересекает канава шириной b -a. Один берег канавы проходит по линии x(t)=a., а другой - по линии x(t)=b. Участок канавы, ограниченный берегами и веревкой (рис.2), никакого дохода не приносит, и интегрант выглядит так:
(П.4)
Веревка ограничивает канаву, пересекая ее, но разорвать веревку Дидона не может, поэтому изопериметрическое условие (П.3) остается в силе. Требуется максимизировать доход с участка, расположенного по берегам канавы, ограниченного береговой линией и веревкой.
Представим g[x(t)] с помощью единичной функции включения (1.2) в виде
В уравнение Эйлера простейшей вариационной задачи (2.6) входят производные интегранта по x и по 
. Вычислим эту производную
Производя сокращения и учитывая свойства d -функции [7], находим
или
(П.5)
С учетом изопериметрического условия (П.3), получим дифференциальное уравнение для экстремали
(П.6)
где l - неопределенный пока множитель Лагранжа [7].
Уравнение (П.6) при 
и ограничениях (П.2) имеет интегралом окружность
(П.7)
где C = ¦ (l 2 /a2-1)1/2, симметрично расположенную относительно оси Оx (рис.2). Выразим длину веревки Дидоны через параметры задачи a, b, g и неизвестный коэффициент l.
В горизонтальной полосе 0<x<a 
и центр соответствующей окружности располагается ниже оси Оt (иначе интегральные дуги 
окажутся вне вертикальной полосы -1<t<1), откуда для длины 
дуги получим
(П.8)
При x>b и 
при отыскании максимума функционала (П.1) в случае g >1 (или g <1) центр окружности, содержащей интегральную дугу 
, будет расположен выше (или ниже) оси Оt. Для длины дуги получим
(П.9)
В полосе a <x<b 
и интегральная линия имеет вид отрезков прямой 
, соединяющей концы дуг 
и 
с концами дуги . При разных значениях параметра g может быть разная ориентировка этих отрезков. В частности, они могут быть параллельны оси Оy (
)или наклонены. Длина отрезка 
определяется выражением
или
Заметим, что при a =b и 
лишь при g =1, т.е. требования "стыковки" или даже "сопряжения" дуг 
и , наложенные в [3] при 
, не вытекают из условия задачи, несмотря на неразрывность веревки.
Окончательно получим
или (П.10)
При a = b получаем
При a = b и a = 1 получается длина дуги в классической задаче [12] Дидоны
Или
(П.11)