Налоговая декларация по налогу на добычу полезных ископаемых (КНД 1151054)
Применяется — с отчетности за апрель 2021 года
Утверждена — Приказом ФНС России от 08.12.2020 N КЧ-7-3/887@Срок сдачи — не позднее последнего числа месяца, следующего за истекшим налоговым периодом
Скачать форму налоговой декларации по налогу на добычу полезных ископаемых:
— в TIF (данный TIF-шаблон рекомендован ФНС России и размещен на сайте АО «ГНИВЦ» www.gnivc.ru)- в PDF (данная машиночитаемая форма подготовлена на основании TIF-шаблона АО «ГНИВЦ» и доступна для заполнения в программе Adobe Reader (программа размещена на сайте www.adobe.com))
Образец заполнения налоговой декларации по налогу на добычу полезных ископаемых >>>
Материалы по заполнению налоговой декларации по налогу на добычу полезных ископаемых:
— Приказ ФНС России от 08.12.2020 N КЧ-7-3/887@
Архивные формы налоговой декларации по налогу на добычу полезных ископаемых:
— налоговая декларация
— налоговая декларация
по налогу на добычу полезных ископаемых, применявшаяся с отчетности за июнь 2017 года до отчетности за март 2019 года
— налоговая декларация
по налогу на добычу полезных ископаемых, применявшаяся с отчетности за июнь 2015 года до отчетности за июнь 2017 года
— налоговая декларация
по налогу на добычу полезных ископаемых, применявшаяся с отчетности за декабрь 2013 года до отчетности за июнь 2015 года
—
по налогу на добычу полезных ископаемых, применявшаяся с отчетности за февраль 2012 года до отчетности за декабрь 2013 года
— налоговая декларация
по налогу на добычу полезных ископаемых, применявшаяся с отчетности за апрель 2011 года до отчетности за февраль 2012 года
— налоговая декларация
по налогу на добычу полезных ископаемых, применявшаяся с отчетности за январь 2009 года до отчетности за апрель 2011 года
—————————————-
Открыть полный текст документа
Декларация по НДПИ за апрель 2021: новая форма
10 Мая 2021
Новая форма
За апрель 2021 года декларацию по НДПИ налогоплательщики должны подать по новой форме, утвержденной Приказом ФНС России от 08.
12.2020 N КЧ-7-3/887@. Также обновлен порядок заполнения декларации и формат подачи в электронном виде.
Наиболее значимые изменения в форме:
- добавлены поля в разделе 2: «Ставка налога», «Величина начальных извлекаемых запасов (Vз)», «Признак налогового вычета» и др. Так, появилась возможность указывать коэффициенты Иаб, Идт и Кман. Поля для коэффициентов Кв, Св и Свн удалены, так как нормы НК РФ об их расчете утратили силу.
- раздел 4 дополнен строками 155, 160 и 170, предназначенными для указания признака налогового вычета, его суммы и налога к уплате;
- в разделах 5 и 7 добавлено поле для указания кода региона, в котором зарегистрирован участник РИП;
- раздел 7.2 дополнен строками 140 и 150 для отражения предельной суммы вычета и налога к уплате, исчисленного при добыче угля с учетом вычета.
Декларацию по НДПИ нужно подавать за каждый налоговый период – календарный месяц. Срок подачи – не позже последнего для месяца, следующего за истекшим налоговым периодом. Так, декларацию по НДПИ за апрель 2021 года нужно сдать
Для проверки правильности заполнения декларации по НДПИ налоговая служба подготовила контрольные соотношения. Если между показателями отчетности нарушены соотношения, значит при заполнении полей допущена ошибка, например, при определении признака налогового вычета. При подаче декларации с ошибкой, инспекция потребует пояснений или исправлений отчетности.
Документ:
ФСБУ 2020-2021
Заполните форму заказа и получите сборник «Новые ФСБУ 2020-2021»! В подборке вы найдете готовые решения по учету операций при применении обновленных ФСБУ (6/2020, 26/2020, 5/2019, 25/2018), примеры проводок к ним, рекомендации по вопросам применения новых ФСБУ.
Налог за добычу (изьятие) природных ресурсов
б) доходы по трудовым договорам (контрактам) от резидентов Парка высоких технологий, Китайско-Белорусского индустриального парка «Индустриальный парк «Великий камень», а также иные доходы, облагаемые по ставке в размере 9 процентов
б) доходы по трудовым договорам (контрактам) от резидентов Парка высоких технологий, Китайско-Белорусского индустриального парка «Великий камень», а также иные доходы, облагаемые по ставке в размере 9 процентов
б) доходы, полученные по трудовым договорам (контрактам) от резидентов ПВТ, Китайско-Белорусского индустриального парка «Великий камень»
Сдача декларации и отчетности при ликвидации или реорганизации
20192020
НомерЛюбой
Электронная версия
на что обратить внимание Обзор Консультант Плюс
Налоги и взносы в апреле: на что обратить внимание
02.04.19Самое сложное — разобраться с декларацией по НДС: изменили бланк, основную ставку и правила возвратов. Форму расчета по налогу на имущество тоже обновили, но заполнить ее теперь проще, так как не надо включать движимые объекты.
Эксперты Консультант Плюс подготовили обзор*, который поможет работать с апрельской отчетностью и платежами.
Отчитаться нужно по новой форме. В ней учтены изменения законодательства, в том числе повышение основной ставки НДС до 20%. Контрольные соотношения уже обновлены.
При заполнении декларации обратите внимание на следующие моменты:
- проверьте, правильно ли отражены операции по возврату покупателями прошлогодних покупок. Для этих операций должна применяться ставка 18%;
- проверьте, не указаны ли со старой ставкой операции, которые должны быть уже с новой. Это могло произойти, если программное обеспечение ККТ обновили позже 1 января;
- учтите, что рискованно принимать к вычету НДС по дубликату счета-фактуры. Скорее всего, налоговики вам откажут, но есть шанс выиграть дело в суде;
- принимайте к вычету НДС по расходам на проезд и проживание сотрудника, которого вы направили на профобучение в другой город;
- для подтверждения вычета «ввозного» НДС не нужна платежка, если налог был списан с единого лицевого счета (ЕЛС).
- В стр. 020 разд. 8 декларации укажите регистрационный номер таможенной декларации, а в стр. 100 и 110 ставьте прочерки;
- по товарам, которые ввезены из ЕАЭС в прошлом году, но поставлены на учет уже в I квартале этого года, налог считайте по ставке 20%;
- учтите, что при экспорте в ЕАЭС отказаться от нулевой ставки нельзя;
- при зачете аванса по расторгнутому договору в счет новой сделки не спешите восстанавливать НДС. Рекомендуем восстановить налог в том квартале, когда будет отгрузка по новому договору;
- продавцам, которые в 2019 году получили «налоговую доплату» в 2%, нужно помнить: налоговики считают это доплатой налога, требуют оформлять корректировочные счета-фактуры и хотят видеть ее в графе 5 стр. 070 разд. 3 декларации. А в графе 3 говорят ставить «0». Разъяснение вышло еще до обновления бланка декларации, но оно сохраняет актуальность.
Обратите внимание: в декларации нужно правильно отразить сведения из книги продаж. Чиновники не разрешают для I квартала использовать новую форму книги, где учтено повышение НДС. Можно взять ее за основу и самостоятельно доработать прошлую версию формы или воспользоваться тем, что предлагают разработчики вашей бухгалтерской программы.
Расчет по налогу на имущество
Форму и контрольные соотношения к ней обновили. Главное изменение: в расчете нужно отразить только недвижимость. Остальные основные средства теперь освобождены от налога на имущество.
С этого года увеличилось число регионов, где налог считается по кадастру. К ним добавились: Чувашия, Иркутская, Курская и Смоленская области.
Если вы состоите на учете в нескольких инспекциях на территории одного региона, есть возможность сдать единый отчет. Подробности в нашем материале.
Организации, которые применяют льготу по энергоэффективному имуществу, должны указать в расчете код льготы 2010337 (для объекта из правительственного перечня) или 2010338 (для объекта с высоким классом энергоэффективности).
Образец заполнения расчета за I квартал вы найдете в нашем материале.
Отчетность по страховым взносам
Компаниям, у которых с этого года больше нет льготы по взносам, нужно заполнять РСВ с учетом разъяснения налоговиков. К примеру, код тарифа должен быть 01.
При заполнении 4-ФСС обратите внимание на следующие нюансы:
- для бумажной формы срок сдачи сдвинулся на 22 апреля;
- если в прошлом году была спецоценка, ее результаты нужно внести в таблицу 5.
С января в пилотный проект ФСС «Прямые выплаты» вступили организации из 11 регионов. Отчеты по взносам за I квартал им нужно составлять с учетом ряда особенностей.
Заполнить отчетность помогут наши материалы:
Не забудьте: не позднее 15 апреля надо подтвердить основной вид деятельности. Инструкцию для коммерческих и бюджетных организаций читайте в наших материалах.
Декларация по налогу на прибыль
При подготовке отчетности учтите:
- из-за переноса срок сдачи — 29 апреля;
- при списании ГСМ надо проверить, учтены ли в путевых листах последние изменения;
- подтверждать затраты на перелет электронным посадочным талоном рискованно;
- отражать в декларации инвестиционный вычет нужно согласно разъяснению налоговиков.
ЕНВД
При расчете налога учтите, что коэффициент К1 вырос с 1,868 до 1,915. Правильно рассчитать налог поможет наша инструкция с примерами.
Экологические платежи
Изменены ставки:
Транспортный налог
Проверьте, не оказались ли ваши автомобили в перечне дорогих. В этом году машин в нем стало больше. Как рассчитать налог для дорогих авто, смотрите в наших материалах для коммерческих и бюджетных организаций.
Владельцам большегрузов надо помнить, что с этого года вычет в размере платы за вред дорогам применять нельзя. Кроме того, нужно платить авансовые платежи по транспортному налогу.
НДПИ
За март нужно отчитаться по новой форме. Изменилась она незначительно (например, заменили штрихкоды). Однако есть и существенные моменты. Так, появился разд. 8 для тех, кто платит налог на допдоход от добычи углеводородов (НДД).
Заполнение платежек
В начале февраля почти в трети регионов изменились счета УФК. Пока допустимо указывать старые номера счетов, но с 30 апреля применяются только новые.
Инструкции по заполнению платежки для коммерческих и бюджетных организаций приведены в наших материалах.
*В обзоре присутствуют ссылки на документы системы Консультант Плюс. Для перехода по ним у вас должна быть куплена и установлена система.
порядок заполнения, образец, сроки сдачи
Недропользователи, как и другие налогоплательщики, обязуются представлять налоговую отчётность. Суть этого заключается в оформлении соответствующего отчёта, декларации по налогу на добычу полезных ископаемых.
Налогоплательщики указывают в ней основные сведения о себе, показывают свои доходы и расходы, рассчитывают налоговую базу и стоимость добытого сырья, применяют льготы и исчисляют сумму налога и авансовых платежей для уплаты. Итак, давайте узнаем, каков порядок заполнения налоговой декларации по НДПИ, куда она предоставляется, и надо ли потери указывать в ней.
Форма декларации НДПИ
С середины 2015 года начала действовать новая форма декларации по НДПИ под номером КНД 1151054, которая была утверждена соответствующим приказом Федеральной налоговой службы. При этом форма, действующая до этого времени, перестала использоваться.
Новая декларация в отличие от прежней формы стала вмещать в себя большее количество разделов. Такие изменения связаны с тем, что теперь налогоплательщикам приходится рассчитывать гораздо больше важных показателей, чем раньше. Однако это касается только тех добывающих компаний, которые извлекают из месторождений нефть или газовый конденсат. На эти важнейшие виды сырья изменился расчёт ставки налога, поэтому и пришлось ввести новые разделы.
Поскольку декларация по НДПИ имеет общую унифицированную форму для всех, предприятия и ИП, добывающие другие виды ископаемых, эти разделы не заполняют.Новая утверждённая форма декларации содержит в себе следующие главы:
- Титул с указанием основных сведений плательщика;
- 1-ый раздел с общей рассчитанной суммой налога к уплате;
- 2-ой раздел с данными для расчёта НДПИ на нефть;
- 3-й раздел содержит данные для исчисления налога на газовую добычу;
- 4-й раздел расчёт НДПИ для разработчиков нового морского месторождения;
- 5-й раздел с данными для расчёта налога на остальные виды ископаемых;
- 6-й раздел для определения стоимости единицы сырья;
- 7-й раздел служит для исчисления НДПИ на уголь.
В соответствии с утверждённым порядком заполнения декларации существует несколько важных правил, которые необходимо соблюдать. Рассмотрим подробнее эти правила, а также рассмотрим, как заполняется каждый из разделов декларации.
Правила заполнения
Прежде всего нужно отметить, что недропользователь не обязан заполнять все разделы декларации, он заполняет только те из них, которые связаны со спецификой его деятельности. Однако если предприятие добывает несколько видов ископаемого сырья, то заполняется общий отчёт на все эти виды.
Титульный лист декларации нового образца заполняется так же, как и первая страница старой декларации. Этот её раздел не претерпел существенных изменений. Здесь указываются следующие важные сведения:
- ИНН и КПП;
- год и порядковый номер налогового периода;
- код НО;
- полное имя ИП или название компании;
- шифр из ОКВЭД;
- контактная информация;
- количество страниц;
- информация о доверенном лице.
Остальные разделы имеют каждый свою специфику, в декларации новой формы произошло их разделение на разные категории.
Алгоритм заполнения декларации по налогу на добычу полезных ископаемых (НДПИ) с примерами и образцами вы можете скачать здесь.Декларация представляется ежемесячно, так как налоговым периодом НДПИ является срок сдачи равный одному месяцу. При этом не нужно суммировать нарастающий итог по результатам прошлых периодов. Сумма вычисляется и уплачивается по каждому месяцу в отдельности.
Как заполнить документ
Остановимся подробно на заполнении каждого раздела декларации.
Раздел 1
Здесь обычно указываются суммы по итогам всех расчётов из последующих разделов. Поэтому удобнее будет заполнять этот раздел в последнюю очередь. Кроме суммы, которую нужно уплатить в этом разделе указывают коды КБК и ОКТМО. Форма предусматривает вести расчёт не по одному ОКТМО, а по нескольким. Это происходит, если недропользователь ведёт добычу на нескольких участках на территории разных субъектов страны.
В декларации это выражается несколькими блоками, в которых можно указать соответствующие показатели по сумме, КБК и ОКТМО. При этом сумма налога по отдельному ОКТМО определяется по отношению общей суммы налога к произведению общего добытого количества ископаемого на его стоимость.
Раздел 2
Нефтедобытчики обязательно заполняют этот раздел, так как касается добытой нефти без учёта примесей по каждому месторождению, которые используют компании. Этот раздел был введён в новой форме декларации по НДПИ. В старой форме он выглядел иначе.
Вполне понятно, как заполнять строки, в которых нужно указывать КБК, ОКТМО, серию, номер и вид лицензии, их нужно взять из исходных данных. Расчёт налога на нефтедобычу заключается в вычислении коэффициентов, которые учитывают:
- колебания цен на нефть в мире;
- технологические особенности;
- степень выработки запасов участка и залежи;
- свойства сырья и регион разработки месторождения;
После расчёта этих коэффициентов по строкам декларации от 060-120 можно вычислить сумму НДПИ по отдельному участку — строка 130. Строка 140 предусматривает ещё введение суммы налогового вычета по НДПИ.
Раздел также содержит в себе два подраздела, заполнить которые тоже нужно. Первый нужен для отражения натуральных величин, по которым судят о добытом количестве нефти. Второй подраздел содержит данные по добыче нефти из залежи углеводородов. Значения первого подраздела считают с вычетом значений второго, поэтому второй нужно заполнить раньше первого.
Раздел 3
Данные раздел затрагивает добычу природного газа и газового конденсата, исключая разработчиков новых месторождений морского шельфа. Как и во втором разделе, расчёт по добыче газа ведётся отдельно по участкам и залежам. При этом по строкам 050, 060 и 070 указываются показатели, учитывающие:
- стоимость транспортировки;
- процент участия в продажах отдельной компании;
- долю добычи газа в общих объёмах.
По данным, указанным в лицензии на разработку, можно заполнить строки 100-130.
Заполнение подраздела 3.1.1 третьего раздела декларации нужно для детализации показателей залежи. Здесь вписывают такие параметры залежи, как её глубина и плотность, а также коэффициент, учитывающий сложность работы по извлечению сырья. В строку 190 вписывается итоговая сумма налога по добычи из залежи.
Раздел 4
Его заполняют те недропользователи, что ведут добычу на новом морском месторождении углеводородного сырья. Налогоплательщики сами указывают код добываемого ископаемого, наименование месторождения и дату начала добычи.
Расчёт налога здесь сводится к определению налоговой базы, которая является произведением количества добытого сырья на стоимость его единицы. В качестве стоимости в зависимости от обстоятельств добытчики могут использовать либо минимальную предельную стоимость по мировым ценам, либо расчётную стоимость, выведенную из расходов. Применять средние ценовые значения можно, если такое право закреплено в учётной политике предприятия.
Сумма НДПИ в данном разделе вычисляется умножением базы начисления налога на соответствующую ставку. Иногда применяют в формуле корректировочные коэффициенты для сделок взаимозависимых лиц для манипуляции цен реализации. Итог заносится в строку 140.
Раздел 5
Предназначается для заполнения теми пользователям недр, которые добывают другие виды ископаемых, не отражённых в прошлых разделах декларации. Сюда относятся:
- горючие сланцы;
- руды;
- песок;
- драгоценные металлы.
Последовательность заполнения аналогична заполнению прошлых разделов: всё начинается с внесения исходных характеристик, а потом определяется количество извлечённого сырья и стоимость единицы. Последний показатель может определяться по одному из нескольких способов, с учётом выручки от реализации или с учётом первичной оценки.
Про раздел 6 и 7 декларации НДПИ читайте ниже.
Разделы 6 и 7
Раздел нужен, чтобы внести данные о проведении оценки стоимости единицы добытого сырья. Сначала заполняется первый подраздел, где определяются общие расходы на добычу. Заполнить строки не представляет особого труда, так как внизу каждой из них написаны формулы и пояснения. Форма учитывает прямые, косвенные и внереализационные расходы на добычу.
Последний седьмой раздел заполняют добывающие компании угольной промышленности. Порядок его заполнения аналогичен порядку заполнения четвёртого раздела декларации.
Срок сдачи отчётности
НДПИ добывающие компании платят 12 раз в год, по итогам каждого налогового периода, равного одному месяцу. То же самое касается и сдачи отчётности, декларацию нужно делать ежемесячно. Причём крайний срок подачи не может быть позднее последнего числа следующего месяца за отчётным периодом.
В каждую декларацию за какой-нибудь истёкший период должны попасть расчёты налога только за добычу тех полезных ископаемых, по которым завершился технологический процесс извлечения их из недр. После получения лицензии на разработку месторождений и прохождения регистрации как плательщика НДПИ, предприятие должно подать декларацию в том месяце, который последует после начала работ по добыче.
Очень удобно сейчас подавать декларацию в электронном виде, всё меньше налогоплательщиков сдают отчётность по-старому, на бумажном носителе. Кроме сроков сдачи нужно ещё соблюсти такое правило: декларация обычно подаётся в налоговый орган, обслуживающий тот район, где находится юридический адрес фирмы, а сама сумма налога уплачивается в местный бюджет того округа, где ведутся добывающие работы. Это делается путём выбора соответствующих кодов КБК и ОКТМО.
Важная информация
- Место подачи налоговой декларации определяется в соответствии с юридическим адресом добывающей компании. Однако если компания относится к числу крупнейших налогоплательщиков, то отчитываться ей придётся в соответственную межрегиональную налоговую инспекцию.
- Даже если компания приостановила добычу ископаемых, это не значит, что у неё отпала необходимость делать декларацию по НДПИ. Отчётность предоставляется в любом случае.
- Когда за несвоевременное представление декларации по НДПИ на предприятие были наложены штрафные санкции, их можно будет снизить, если налогоплательщик заявит о наличии смягчающих обстоятельств.
Как использовать nDPI из интерфейса командной строки для анализа сетевого трафика — ntop
Большинство людей используют nDPI косвенно, являясь частью ntopng и многих других инструментов, разработанных не ntop. Однако не многие знают, что nDPI также можно использовать из командной строки для анализа сетевого трафика. Это полезно для создания сценариев для автоматизации обнаружения конкретных проблем. ndpiReader — это инструмент тестирования, используемый для демонстрации функций библиотеки, а также для выполнения проверочных тестов. С помощью этого инструмента также можно создать отчет в формате CSV, который можно проанализировать с помощью таких инструментов, как q.
Ниже вы можете найти несколько практических примеров того, как эту технику можно использовать в реальной жизни. Предположим, нам нужно проанализировать некоторый трафик вредоносных программ, чтобы выявить аномалии. Хорошей отправной точкой для примеров файлов pcap является набор данных CIC или этот веб-сайт, или вы можете использовать любой pcap, который вы уже собрали, как часть набора тестов nDPI.
Из набора данных CIC вы хотите проанализировать, на какие потоки влияет медленный DoS.
$ ndpiReader -i dos_slow.pcap -C dos_slow.csv
Сохраняет результаты анализа потока в файл CSV, содержащий следующие поля
$ голова -1 ~ / Downloads / Ricci / dos_slow.csv # Flow_id, протокол, first_seen, last_seen, продолжительность, src_ip, src_port, dst_ip, dst_port, ndpi_proto_num, ndpi_proto, src2dst_packets, src2dst_bytes, src2dst_goodput_bytes, dst2src_packets, dst2src_bytes, dst2src_goodput_bytes, data_ratio, str_data_ratio, src2dst_goodput_ratio, dst2src_goodput_ratio, iat_flow_min, iat_flow_avg, iat_flow_max, iat_flow_stddev , iat_c_to_s_min, iat_c_to_s_avg, iat_c_to_s_max, iat_c_to_s_stddev, iat_s_to_c_min, iat_s_to_c_avg, iat_s_to_c_max, iat_s_to_c_stddev, pktlen_c_to_s_min, pktlen_c_to_s_avg, pktlen_c_to_s_max, pktlen_c_to_s_stddev, pktlen_s_to_c_min, pktlen_s_to_c_avg, pktlen_s_to_c_max, pktlen_s_to_c_stddev, client_info, server_info, tls_version, ja3c, tls_client_unsafe, ja3s, tls_server_unsafe, ssh_client_hassh, ssh_server_hassh
Теперь вы можете запустить этот запрос, чтобы узнать 10 самых медленных DoS-потоков
q -H -d ',' "выберите src_ip, src_port, dst_ip, dst_port, ndpi_proto, продолжительность от./dos_slow.csv, где dst2src_goodput_ratio <10 порядок по продолжительности desc limit 10 " 172.16.0.1,54240,192.168.10.50,80, HTTP, 1241.436 172.16.0.1,53816,192.168.10.50,80, HTTP, 1239.08 172.16.0.1,53824,192.168.10.50,80, HTTP, 1239.078 172.16.0.1,53834,192.168.10.50,80, HTTP, 1239.077 172.16.0.1,53840,192.168.10.50,80, HTTP, 1239.077 172.16.0.1,53846,192.168.10.50,80, HTTP, 1239.076 172.16.0.1,53852,192.168.10.50,80, HTTP, 1239.075 172.16.0.1,53858,192.168.10.50,80, HTTP, 1239.074 172.16.0.1,53866,192.168.10.50,80, HTTP, 1239.073 172.16.0.1,53872,192.168.10.50,80, HTTP, 1239.072
Предположим, вы хотите узнать объем трафика, который верхний IPe в netfix.pcap потратил на просмотр NetFlix. Сначала запустите ndpiReader следующим образом
$ cd nDPI / тесты / pcap $ ../../example/ndpiReader -i netflix.pcap -C /tmp/netflix.csv
, затем
$ q -H -d ',' "выберите src_ip, SUM (src2dst_bytes + dst2src_bytes) из /tmp/netflix.csv, где ndpi_proto как группа '% NetFlix%' по src_ip" 192.168.1.7,6151821
Possibilites в основном бесконечны.
Наслаждайтесь!
СвязанныеГраницы | Высокоэффективная система для надежной нормализации окраски всего слайда в гистопатологии
1. Введение
С появлением технологии визуализации всего слайда с высоким разрешением и достижением глубокого обучения системы компьютерной диагностики (CAD) стали сегодня очень важной частью клинической работы.Алгоритмы анализа изображений на основе машинного обучения (ML), применяемые к оцифрованным гистологическим слайдам, могут помочь патологам с точки зрения снижения рабочей нагрузки, эффективной поддержки принятия решений и интерпретируемости результатов (1–3). Учитывая огромное количество данных изображений целого слайда размером с гигапиксель, а также необходимость ускорить получение информации, растет потребность в создании автоматизированных и масштабируемых конвейеров для крупномасштабного, быстрого и надежного анализа изображений.
Одним из основных алгоритмов предварительной обработки при анализе изображения всего слайда (WSI) является нормализация цвета окрашенных образцов ткани (4).Несмотря на стандартизованные протоколы окрашивания, различия в результатах окрашивания по-прежнему часты из-за различий, например, в концентрации антигена, времени и температуре инкубации, различных условиях в сканерах слайдов и т. Д. (3). Такие вариации цвета / интенсивности могут отрицательно повлиять на производительность и точность систем CAD. Методы нормализации пятен призваны помочь системам CAD, создавая изображения со стандартизованным внешним видом различных пятен (5–12).
В этой работе мы используем метод Масенко (7) для создания высокоэффективной системы нормализации пятен.Этот метод оценивает векторы пятен интересующего WSI с помощью подхода разложения по сингулярным значениям (SVD), применяемого к нефоновым пикселям входного изображения. Используя показатель нормализованной средней интенсивности (NMI), это было показано в Zanjani et al. (13), что качество этого метода одно из самых высоких по сравнению с другими методами нормализации пятен. Кроме того, благодаря простоте алгоритмических шагов, конкретный метод можно эффективно распараллелить. Более того, алгоритм не включает промежуточных шагов, требующих обучения параметров модели, и, следовательно, требует меньших вычислительных затрат.
Наша архитектура системы нормализации пятен основана на оптимизированной многоядерной реализации, которая объединяет несколько оптимизаций на уровне системы (14). С помощью этой архитектуры мы решаем две проблемы алгоритма нормализации пятен: (1) длительное время обработки и (2) большое потребление системной памяти при нормализации изображений с высоким разрешением. Типичные реализации алгоритмов нормализации пятен не могут обрабатывать изображения с высоким разрешением, например разрешение 40X для WSI 160 k × 80 k, что соответствует 37.5 ГБ данных на типичных серверах с менее 64 ГБ ОЗУ. Наша реализация позволяет обрабатывать такие изображения и может использоваться с различными форматами изображений, такими как .svs, .tif, .ndpi и т. Д. Это позволяет нам оценивать производительность нашей системы нормализации пятен на наборах данных, созданных различными сканерами, например , Вентана, Хамамацу, Аперио, Филипс.
Кроме того, мы показываем, что исследуемый алгоритм нормализации пятен чувствителен к качеству входных изображений. Чтобы преодолеть эту проблему, мы предлагаем новый метод обнаружения некачественных изображений и разрабатываем вариант алгоритма, устойчивый к таким изображениям.В остальной части статьи мы будем называть изображение плохим качеством, если оно содержит артефакты, например, пятна, грязь и т. Д. Наконец, мы показываем, что наш новый метод нормализации может повысить точность машинного обучения (ML ) конвейеры, использующие в качестве входных данных изображения, нормализованные по пятнам. В качестве примерного конвейера ML мы использовали сверточную нейронную сеть (CNN) на основе Tensorflow, которая обнаруживает опухоль в WSI биопсии простаты. На рисунке 1 показан общий обзор конвейера на основе машинного обучения, используемого в этой статье.Перед загрузкой в механизм машинного обучения гистологических WSI мы нормализуем полное изображение в предварительно заданном пользователем разрешении, например, 10X. Нормализованные изображения могут быть сохранены на диск или напрямую переданы с помощью механизма машинного обучения. Затем последний обучает модель CNN, используя патчи из нормализованного WSI. Затем обученная модель используется для вывода, чтобы предсказать наличие опухоли на изображениях.
Рисунок 1 . Примерный конвейер на основе ML: WSI с нормализованными пятнами питают механизм ML для обнаружения опухолей.
Эта статья имеет следующую структуру. В разделе 2 мы описываем наборы данных, использованные в нашем исследовании. В разделе 3.1 мы описываем алгоритм нормализации пятен, использованный в этом исследовании, и вновь подчеркиваем мотивацию этой работы. В разделе 3.2 мы представляем высокопроизводительную версию алгоритма нормализации Масенко, которая не только ускоряет время выполнения, но также позволяет нормализовать большие изображения целого слайда, например, с разрешением 40X, на стандартных серверах с менее 64 ГБ оперативной памяти.В разделе 3.3 мы показываем, насколько чувствительным может быть исследуемый алгоритм нормализации к входным изображениям низкого качества, например, содержащим артефакты, пятна чернил, грязь и т. Д. Мы продолжаем раздел описанием метода, который обнаруживает такие изображения и нормализует их с использованием вариант алгоритма, устойчивый к такому входу. Далее, в разделе 3.4, мы представляем архитектуру CNN, используемую для обучения моделей для обнаружения опухоли на изображениях целого слайда биопсии простаты. Мы суммируем и обсуждаем результаты статьи в разделах 4 и 5 соответственно.Наконец, мы завершаем статью в разделе 6.
2. Материалы
2.1. Наборы данных полного слайда
В этой работе мы используем четыре набора данных, которые содержат полные изображения слайдов, окрашенные гематоксилином и эозином, все с разрешением 10X и 40X. Два набора данных общедоступны, а два проприетарных.
• Первый набор данных является частью TUPAC MICCAI 2016 (15) и предоставляет WSI молочной железы для прогнозирования показателей опухоли и распространения. Эти файлы WSI имеют формат Aperio, однофайловые пирамидальные мозаичные файлы TIFF (.svs) со схемой сжатия JPEG.
• Второй - набор данных CAMELYON16 (16), который является частью задачи ISBI по обнаружению метастазов рака в лимфатических узлах. Эти слайды имеют формат Philips, однофайловый пирамидальный мозаичный TIFF или BigTIFF (.tif) с нестандартными метаданными и схемой сжатия JPEG.
• Третий набор данных является собственностью. Слайды представлены в формате Ventana, однофайловой пирамидальной плиткой BigTIFF с нестандартными метаданными. Он содержит 96 изображений биопсии ткани рака простаты с помощью иглы.Эти изображения были оцифрованы с помощью сканера Ventana, обеспечивающего разрешение 0,25 мкм.
• Четвертый набор данных также является проприетарным и содержит изображения целого слайда в формате Hamamatsu, однофайловом TIFF-подобном формате (.ndpi) с проприетарными метаданными. Этот набор данных состоит из изображений тканей после радикальной простатэктомии, полученных у 30 пациентов. Эти полные изображения слайдов были созданы с помощью сканера Hamamatsu с разрешением 0,23 мкм.
Мы используем все наборы данных для анализа производительности, т.е.е., время выполнения, ускорение и масштабируемость нашей системы нормализации пятен. Мы показываем, что наша реализация не только ускоряет предварительную обработку нормализации, но также поддерживает различные форматы изображений целого слайда. В частности, формат .ndpi / Hamamatsu еще не поддерживается стандартным программным обеспечением с открытым исходным кодом для крупномасштабного анализа изображений, таким как библиотека OpenSlide (17). Мы включили в наш анализ производительности последний набор данных, чтобы показать гибкость нашей системы нормализации для загрузки и обработки различных форматов изображений.
Чтобы оценить влияние нормализации пятен на точность медицинских трубопроводов на основе машинного обучения и оценить надежность нашего расширенного метода нормализации для изображений низкого качества, мы использовали только один из патентованных наборов данных. В частности, мы использовали набор данных биопсии простаты, поскольку он содержит изображения низкого качества, чего нельзя сказать о общедоступных наборах данных. Таким образом, мы можем обучить и протестировать модель нейронной сети, используя достаточно большое количество таких изображений. Этот набор данных является основным объектом внимания нового надежного метода, представленного в разделе 3.3, поскольку он позволил нам выявить недостатки алгоритма нормализации пятен и побудил нас разработать усовершенствованный метод нормализации, устойчивый к изображениям низкого качества.
Набор данных биопсии простаты содержит 96 WSI с областями опухоли, аннотированными двумя патологами. Аннотации включают баллы Глисона: неопухолевые, 3 + 3, 3 + 4, 4 + 3, 4 + 4 и 4 + 5. Моделирование этой проблемы как мультиклассовой классификации в нашем случае неуместно по нескольким причинам. Распределение выборок по шкале Глисона несбалансировано.Хотя есть способы компенсировать дисбаланс в классе, в данном конкретном случае у некоторых классов так мало примеров, что обучение на них не имело бы смысла. Более того, при степени детализации по шкале Глисона шаблоны классов сильно перекрываются, и трудно различить классы, например, 3 + 3 и 3 + 4 или 4 + 3 и 4 + 4. Моделирование проблемы как задача бинарной классификации смягчает эти проблемы и по-прежнему обеспечивает полезную категоризацию между здоровыми и опухолевыми образцами. Области с оценкой Глисона выше или равной 3 + 3 считаются опухолевыми, а оставшиеся - неопухолевыми.Моделирование этой проблемы как задачи бинарной классификации также широко используется научным сообществом (18, 19).
3. Методы
3.1. Нормализация окраски всего слайда
Метод нормализации окраски (SN), представленный Macenko et al. (7) принадлежит к классу неконтролируемых методов нормализации. Алгоритм сначала оценивает векторы окрашивания гематоксилином и эозином (H&E) интересующего WSI с помощью подхода разложения по сингулярным значениям (SVD), применяемого к нефоновым пикселям входного изображения.Во-вторых, алгоритм применяет коррекцию для учета изменений интенсивности из-за исходной силы пятна, процедуры окрашивания и т. Д. Наконец, изображение проецируется на эталонное изображение, так что после нормализации пятен все нормализованные изображения имеют аналогичные цветовые характеристики. Алгоритм основан на том принципе, что цвет каждого пикселя (каналов RGB) представляет собой линейную комбинацию двух неизвестных векторов пятен H&E, которые необходимо оценить. Эталонная реализация алгоритма Масенко в MATLAB публично доступна в (20).Мы опишем алгоритмические этапы метода нормализации Масенко в алгоритме 1. Большинство этапов обработки применяется к цветовым векторам RGB, преобразованным в область оптической плотности (OD). Каждый вектор RGB I с компонентами цвета, нормализованными к [0,1], преобразуется следующим образом: OD = −log 10 ( I ). Это преобразование обеспечивает пространство, в котором линейная комбинация пятен приводит к линейной комбинации значений OD.
Алгоритм 1: Алгоритм нормализации окраски по Маценко.
На рисунке 2 мы показываем, как нормализация пятен снижает вариабельность пятен между изображениями в разных наборах данных и между ними. В качестве эталонного изображения мы использовали векторы H&E и максимальные значения концентрации, указанные в качестве шаблона в (20). Мы используем то же эталонное изображение для остальной части статьи. Для создания этих нормализованных изображений мы использовали оптимизированную реализацию алгоритма 1, который мы подробно опишем в разделе 3.2. Мы показываем исходные и нормализованные исправления, извлеченные из WSI, которые принадлежат двум частным наборам данных, описанным в разделе 2 и сгенерированным разными сканерами A и B.
Рисунок 2 . Исходные пятна (A – D) и их нормализованные версии (E – H) после применения нашего оптимизированного метода нормализации пятен fast_sn, описанного в разделе 3.2.
Предыдущие современные исследования, такие как Ciompi et al. (21) продемонстрировали, что точность классификации системы гистопатологии на основе машинного обучения повышается при использовании изображений, нормализованных по пятнам. В прошлом предлагались другие системы на основе машинного обучения, в которых используются нормализованные по пятнам гистопатологические изображения.Zerhouni et al. (4) представить архитектуру ML для обнаружения митоза в WSI гистопатологии молочной железы. Подход использует нормализованные к пятнам участки исходного изображения с разрешением 40X для обучения широкой остаточной сети. Ciresan et al. (22) предлагают конвейер на основе ML также для обнаружения митозов на гистопатологических изображениях груди. В исследовании используются WSI, окрашенные H & E, разделенные на участки, которые питают обучающий механизм 11-слойной модели CNN. Litjens et al. (19) описывают конвейер ML для обнаружения рака простаты в образцах цельной биопсии, окрашенных гематоксилином и эозином.В общем, нормализация окраски помогает значительно уменьшить вариабельность между изображениями целого слайда, особенно когда они поступают из разных больниц или лабораторий. Когда различия между изображениями невелики, например, когда они принадлежат одному набору данных из одной клиники, нормализация окраски может иметь небольшое влияние на конвейер ML, как также было показано в Lafarge et al. (23).
На рисунке 3 мы показываем точность прогнозирования конвейера машинного обучения с применением нормализации пятен к входным изображениям и без нее.Для этих экспериментов мы использовали изображения из одного из частных наборов данных, описанных в разделе 2, где изображения показывают изменчивость. Мы обучаем архитектуру сверточной нейронной сети (CNN) с ненормализованными изображениями (SN: no) и с нормализованными изображениями (SN: fast_sn) и наносим на график потери (рисунок 3A) и оценку F1 (рисунок 3B) на наборе данных проверки на разные тренировочные эпохи. Мы подробно описываем архитектуру CNN в разделе 3.4. Результаты, изображенные на рисунке 3, показывают, что после того же количества эпох, т.е.е., 430, обучение на изображениях, нормализованных по пятнам, приводит к снижению потерь при проверке на 35% и повышению показателя F1 на 11 процентных пунктов. Мы также оценили силу обобщения двух обученных моделей CNN на невидимом (тестовом) наборе данных: нормализация входных изображений целого слайда улучшает оценку F1 на 5 процентных пунктов, с 0,74 (без нормализации) до 0,79 (с нормализацией).
Рисунок 3 . Влияние нормализации пятен на точность трубопровода ML.После 430 эпох обучение на изображениях, нормализованных по окрашиванию, приводит к снижению потерь при проверке (A) на 35% и повышению показателя F1 на 11 процентных пунктов (B) . Архитектура CNN, используемая для этих экспериментов, описана в разделе 3.4.
3.2. Оптимизированная нормализация окраски всего слайда (fast_sn)
Пример эталонной реализации алгоритма 1 в MATLAB публично доступен в (20). При прямом переносе этой реализации на C ++ возникают узкие места в памяти и времени выполнения, особенно при попытке обработки изображений 40X.Например, реализация не может работать в системах с 64 ГБ ОЗУ на 40X WSI. Даже при увеличении объема ОЗУ он страдает от длительного времени обработки (> 16 минут на изображение на 8-ядерном процессоре Intel (R) Xeon (R) CPU E5-2630 v3) для 40-кратных изображений. Причиной этих проблем является отсутствие системной реализации, которая эффективно использует многоядерные процессоры и память работающей системы, чтобы обеспечить быструю загрузку и обработку WSI. В оставшейся части статьи мы будем обозначать эту эталонную реализацию C ++ ссылкой.В этом разделе мы представляем шаги, которые мы предприняли для создания оптимизированной реализации нормализации пятен, которая устраняет недостатки эталонной реализации. Мы будем называть эту оптимизированную реализацию метода Маценко fast_sn.
Перед описанием оптимизации времени выполнения мы представляем усовершенствование алгоритма, которое мы ввели в нашу оптимизированную реализацию нормализации пятен (блок обработки A на рисунке 4) в дополнение к тому, что мы ранее представили в Stanisavljevic et al.(14). Этот первый шаг обработки автоматически вычисляет порог, на основе которого пиксели с низкой оптической плотностью удаляются на шаге 2 алгоритма 1. В исходном методе Масенко эти пиксели удаляются на основе эмпирически определенного значения, которое является общим для всех WSI в набор данных. Однако из-за изменчивости цвета и интенсивности внутри набора данных уникальный порог обычно не рекомендуется, так как для некоторых изображений алгоритм может удалить слишком мало или слишком много пикселей, а устойчивые экстремумы из шагов 6 и 11 в алгоритме 1 могут быть ошибочными. идентифицированы.
Рисунок 4 . Сопоставление шагов алгоритма 1 с нашей оптимизированной реализацией fast_sn.
Мы предлагаем использовать алгоритм на основе Оцу (24) для автоматического определения правильного порога для каждого отдельного изображения. Чтобы уменьшить накладные расходы на обработку, блок A, на фиг.4 считывает входное изображение с низким разрешением, например, 2,5X, преобразует пиксели в шкалу серого и применяет размытие по Гауссу для дальнейшего разделения максимума гистограмм интенсивности изображения.Оптимальный порог затем извлекается с использованием пороговой обработки Оцу. Как размытие по Гауссу, так и функции пороговой обработки Otsu интегрированы из библиотеки C / C ++ opencv.
На рисунке 5A показано исходное изображение из одного из наборов данных, описанных в разделе 2. На рисунке 5B мы отображаем соответствующее изображение после применения пороговой обработки Otsu. Далее мы извлекаем пороговые значения, обнаруженные Оцу, для набора изображений из того же набора данных и наносим их на рисунок 5C. Пороговое значение фона - это число от 0 до 255.Как мы видим на рисунке 5C, даже если изображения принадлежат одному набору данных, они могут иметь очень разные пороговые значения для фильтрации пикселей с низкой оптической плотностью. Следовательно, этот параметр может существенно повлиять на вывод алгоритма SN. Предлагаемый нами этап автоматического обнаружения на рисунке 4 обеспечивает определение точного значения параметра для каждого изображения.
Рисунок 5. (A) Исходное изображение. (B) Пороговое значение Оцу. (C) Пороговые значения, обнаруженные Оцу, для набора изображений.
Далее мы представляем набор оптимизаций реализации для уменьшения времени выполнения и объема памяти, занимаемого алгоритмом Маценко. Блоки обработки B, C и D на Фиг.4 соответствуют вычислению матрицы оптической плотности (ODM (5)), вычислению концентраций пятен и их устойчивых максимальных значений, а также нормализации пикселей после преобразования обратно в RGB. пространство соответственно. Наша реализация следует шагам, показанным в алгоритме 1. Из-за множества оптимизаций мы реорганизуем шаги исходного алгоритма Масенко, как показано на рисунке 4.
(a) После загрузки изображения в памяти ЦП сохраняются только значения пикселей RGB. Поскольку нормализация пятен обычно выполняется в области оптической плотности (OD), преобразование из RGB в OD в различных блоках обработки B, C и D выполняется только для нефоновых пикселей. Для преобразования из пространства RGB в OD вместо функции журнала используется метод справочной таблицы, чтобы ускорить логарифмические вычисления.
(b) В блоке B ковариационная матрица на этапе 3 алгоритма 1 вычисляется с использованием того свойства, что элемент ( i, j ) матрицы, Σij = 1N2 (∑pxp, ixp, j-∑ pxp, i∑pxp, j), требует только суммы компонентов OD.
(c) В блоках B и C , которые оцениваются как наиболее трудоемкие шаги, мы используем частичную сортировку, чтобы найти процентили из шагов 6 и 10 в алгоритме 1. Эта частичная сортировка выполняется в 3-4 раза быстрее. по сравнению с полной сортировкой наших данных.
(d) Для экспоненциальной функции в блоке обработки D мы используем библиотеку быстрого возведения в степень (25), поскольку она выполняется в 5-10 раз быстрее по сравнению с соответствующей функцией в стандартной библиотеке C.
(e) Поскольку блоки обработки B-D выполняют множество независимых операций с отдельными пикселями, их выполнение распараллеливается по всем доступным потокам ЦП с использованием библиотеки OpenMP (26).
(f) Учитывая, что блоки обработки B и C являются наиболее трудоемкими из-за присущей сложности распараллеливания операций сортировки, мы предлагаем дальнейшую оптимизацию, основанную на методе выборки Монте-Карло (27). В этом методе образец нефоновых пикселей выбирается случайным образом из набора всех нефоновых пикселей, чтобы оценить требуемые устойчивые экстремумы из шагов 6 и 10.Несмотря на то, что существуют разные методы оценки процентилей населения (28), аналитическая оценка требуемого размера выборки затруднена (29). Поэтому мы определяем оптимальный размер выборки на основе эмпирических экспериментальных результатов. Хорошая частота дискретизации, которую мы используем в этой статье, составляет 1%. Этот показатель был найден путем вычисления евклидова расстояния матрицы OD и относительной погрешности устойчивого максимума отдельных концентраций пятен (макс. C h и макс C e ) между выборками. (с разными частотами выборки) и результаты без выборки (14).
3.3. Метод нормализации, устойчивый к низкокачественным WSI (fast_rsn и fast_rsn_all)
В предыдущем разделе мы показали, как справляться с проблемами времени выполнения и производительности памяти алгоритма Маценко. В этом разделе мы обращаемся к еще одной проблеме этого метода нормализации. Мы показываем, что алгоритм Масенко может не оценить правильные векторы H&E, когда качество входного изображения плохое, например, изображение содержит артефакты и / или примеси, такие как пятна пятен, грязь и т. Д.В таких случаях оценочные векторы H&E могут быть неточными и могут быть смещены в сторону определенного цвета (например, синего или розового). Такие результаты нормализации могут отрицательно повлиять на точность конвейера машинного обучения, который использует в качестве входных данных нормализованные полные изображения слайда. Мы демонстрируем примеры таких случаев в разделе 4.
На рисунках 6A, D показаны два примера некачественных изображений целого слайда, содержащих артефакты. Эти изображения были найдены в одном из частных наборов данных, описанных в разделе 2.На рисунках 6B, E показаны выбранные участки из соответствующих нормализованных изображений. Мы видим, что эти нормализованные пятна не проецируются в общее цветовое пространство, как ожидалось. Эти результаты показывают, что алгоритм Масенко не работает при наличии артефактов на входном изображении. Это связано с тем, что алгоритм учитывает пиксели артефактов при вычислении векторов H&E.
Рисунок 6 . Первый столбец (A, D) показывает два исходных изображения из набора данных биопсии простаты.Второй столбец (B, E) показывает фрагменты, извлеченные из исходных изображений, нормализованные с помощью fast_sn. Третий столбец (C, F) показывает те же патчи, но нормализованные с использованием fast_rsn.
Обычный метод определения наличия артефактов в изображении состоит в том, чтобы разделить его на участки, а затем проанализировать каждое пятно, чтобы обнаружить наличие артефактов, например, путем изучения цвета, интенсивности или других характеристик изображения. Например, Vahadane et al. (30) описывают способ разделения изображения на участки, которые затем фильтруются на основе порогового значения яркости фона.Только оставшиеся участки используются для оценки векторов пятен. Однако такой метод увеличивает сложность и время ожидания медицинских конвейеров. Мы предлагаем менее сложный метод для выявления случаев проблемной оценки H&E для входных изображений. В оставшейся части статьи мы будем называть этот метод fast_rsn. На рисунке 7 представлен обзор предлагаемого нами метода.
Рисунок 7 . Метод обнаружения и обработки проблемной оценки H&E (fast_rsn).
Для каждого изображения в данном наборе данных мы применяем оптимизированный механизм нормализации fast_sn для оценки векторов H&E и устойчивого максимума (99-й процентиль) концентраций пятен пикселей C h и C e .Мы запускаем fast_sn без последнего шага нормализации, так как нам нужны только оценочные векторы H&E и максимальные концентрации C, h и C e . Затем мы оцениваем качество этих значений, предполагая, что изображения низкого качества имеют значения, которые отличаются от значений, оцененных для изображений хорошего качества. Удаляя изображения, которые оцениваются как плохие, мы создаем подмножество изображений хорошего качества. Если изображение обнаруживается как некачественное, то метод заменяет его оценочные параметры средними оценками подмножества изображений хорошего качества в том же наборе данных.Затем изображение нормализуется с использованием шага 11 в алгоритме 1. Двумя основными компонентами этого предложенного метода являются: (1) обнаружение некачественных изображений (нет априорной информации о том, какие изображения имеют артефакты, а какие нет) и ( 2) поиск репрезентативного набора H&E и максимальных значений C h и C e . На рисунке 8 показано, как эти два компонента работают в этой статье.
Рисунок 8 . Компоненты вектора H&E (A – C, E – G) и максимум C h и C e значения (D, H) для набора данных WSI биопсии простаты.
Для всех изображений в наборе данных мы запускаем оптимизированный механизм нормализации пятен fast_sn и извлекаем оценочные компоненты H&E трех каналов RGB (рисунки 8A – C, E – G). Кроме того, мы извлекаем расчетные максимальные значения концентрации пятен C h и C e (рисунки 8D, H). Мы определяем допустимые диапазоны значений для каждого канала H&E и максимум C h и C e .На рисунке 8A показан пример такого диапазона, определяемого нижней и верхней границей. Значение, выходящее за пределы соответствующего диапазона, считается выбросом, а любое изображение, имеющее хотя бы одно значение выброса, считается плохим. В остальном образ - это WSI хорошего качества. После определения некачественных WSI мы нормализуем их, используя репрезентативный набор векторных значений H&E и максимальные значения концентрации пятен C h и C e .Этот репрезентативный набор получен из значений изображений хорошего качества из того же набора данных путем взятия среднего значения H R , H G , H B , E R , E G , E B , максимум C h и максимум C e , соответственно.
На рисунках 6C, F показаны участки с рисунков 6B, E, но нормализованные с использованием нового метода fast_rsn. Мы уже можем визуально заметить, что fast_rsn проецирует изображения в более общее цветовое пространство, чем fast_sn. Более того, исходные изображения, содержащие красные и синие артефакты (рисунки 6A, D), правильно идентифицируются нашим новым методом нормализации как изображения низкого качества, поскольку они отображаются как выбросы на рисунке 8. Например, рисунки 6A, D соответствуют красные и синие выбросы, отмеченные на рисунках 8F, H, соответственно.
Другой вариант описанного выше метода устойчивой нормализации заключается в следующем. Подобно методу fast_rsn, мы сначала обнаруживаем изображения хорошего качества и вычисляем репрезентативный набор параметров концентрации пятен H&E и максимума C h и C e , как описано выше. Затем, вместо того, чтобы заменять значения критических параметров только для выбросов (некачественные изображения), мы заменяем их для всех изображений.Этот метод может дополнительно сократить время выполнения алгоритма нормализации пятен и может помочь в использовании более единообразного набора векторов пятен для нормализации по WSI из одного и того же набора данных. Обозначим этот второй метод fast_rsn_all.
В наших методах мы используем набор векторов H&E и максимальные значения C h и C e , которые представляют набор данных, содержащий идентифицированное изображение низкого качества.Это отличается от других методов, в которых используется цветовая деконволюция с фиксированными векторами H&E. Например, основные отличия от Ruifrok et al. (5): (1) в нашем методе используется не произвольный набор фиксированных векторов H&E, а набор репрезентативных векторов, которые были оценены и обновлены для каждого набора данных, и, таким образом, они являются характеристиками набора данных и не зависят от него. и (2) набор репрезентативных векторов поступает из того же набора данных, что и входное изображение.
3.4. Архитектура CNN для классификации опухолей в изображениях целого слайда
Чтобы продемонстрировать преимущества нового метода нормализации пятен, описанного в разделе 3.3 (fast_rsn), по сравнению с базовым уровнем нормализации пятен (fast_sn), мы используем модель сверточной нейронной сети (CNN). Сначала мы обучаем модель CNN обнаруживать рак простаты, используя изображения, нормализованные с помощью fast_sn. Все изображения нормализованы с использованием собственных оценочных векторов H&E и максимальных значений C h и C e .Мы обучаем с нуля модель CNN, используя изображения, нормализованные с помощью fast_rsn. А именно, выбросы, то есть изображения низкого качества, нормализуются с использованием среднего значения векторов H&E и максимальных значений C h и C e для изображений хорошего качества. Затем мы сравниваем, какая модель лучше обобщает невидимый (тестовый) набор данных.
3.4.1. Предварительная обработка
Размер WSI при любом заданном уровне разрешения может быть слишком большим для одновременной обработки.Поэтому мы обрабатываем WSI для задачи обнаружения опухолей по частям. Мы выбираем извлечение участков с разрешением 10X, потому что 10X содержит биологическую информацию, такую как форма и структура желез, а также расположение клеток вокруг желез, которые являются важными характеристиками для обнаружения опухолей. Во-первых, мы полностью нормализуем 10-кратные изображения. Мы используем 70% изображений для обучения, 15% для проверки и 15% для тестирования. Биопсии каждого пациента находятся в одном WSI, и этот WSI назначается ровно одному из разделов обучения / проверки / тестирования, чтобы сделать сценарий тестирования как можно более реалистичным (мы не оцениваем точность нашей модели CNN на данных, используемых для обучения) .После нормализации мы разделили 10-кратные изображения на патчи. Среднее содержание опухоли в WSI нашего набора данных составляет 5%, поэтому, чтобы справиться с таким дисбалансом классов, мы начинаем извлекать участки из полного 10-кратного изображения с шагом 512 и уменьшаем его до 10, когда мы идентифицируем пластырь с опухолевой тканью. Шаг восстанавливается до 512, когда определяется участок без области опухоли. Эти значения шага обеспечили хороший баланс классов опухоль / не опухоль для нашего набора данных.
3.4.2. Архитектура CNN
В качестве модели ML для классификации опухолей мы используем архитектуру CNN, вдохновленную VGG, которая показана на рисунке 9.Входные данные модели представляют собой участки, извлеченные, как описано ранее, а выходными данными является прогнозируемая метка входного участка, например, опухоль или не опухоль. Модель не включает полностью подключенные уровни, чтобы гарантировать, что сеть требует меньше параметров для настройки и меньше памяти графического процессора. Все свертки CNN имеют размер ядра 3 × 3, шаг 1 × 1 и нелинейность ReLU, за исключением последней. Все максимальные уровни объединения имеют размер фильтра 2 × 2 и шаг 2 × 2. Для инициализации весов мы использовали нормальный инициализатор He (31), а именно веса случайны, но различаются по диапазону в зависимости от размера предыдущий слой нейронов.
Рисунок 9 . Обзор архитектуры CNN. Сверточный слой с 16 фильтрами 3 × 3 и шагом 1 × 1 обозначается n16s1. То же самое, за которым следует слой пакетной нормализации (желтый) и нелинейность ReLU (зеленый), обозначается n16_bn_relu. Скорость обучения, используемая для обучения, составляет 0,0001, оптимизатор - SGD с импульсом 0,9, а размер пакета установлен равным 16.
3.4.3. Обучение и оценка
Для обучения модели CNN мы используем оптимизатор SGD с импульсом для оптимизации потерь кросс-энтропийной классификации, скорость обучения равна 0.0001 и размер пакета 16. После каждой итерации мы сохраняем веса модели, если модель показывает улучшение оценки F1 в наборе данных проверки. Чтобы оценить производительность модели на невидимом тестовом наборе данных, мы используем оценку F1 и потерю кросс-энтропии.
4. Результаты
Мы начинаем этот раздел с демонстрации измерений времени выполнения нашего оптимизированного алгоритма нормализации пятен fast_sn для 10-кратных и 40-кратных полных слайд-изображений из четырех наборов данных, описанных в разделе 2. Для 10-кратных изображений мы также показываем ускорение fast_sn по сравнению с Реализация алгоритма Масенко C ++ на основе кода MATLAB, доступного в (20).Последний использует библиотеку OpenSlide (17) для чтения входных изображений. Все измерения времени выполнения были собраны на одном узле с 10-ядерным процессором Intel ® i7-6950X с частотой 3 ГГц и 96 ГБ ОЗУ. Мы завершаем этот раздел представлением результатов точности CNN для fast_sn и fast_rsn. Для последних экспериментов мы использовали 8-ядерный процессор Intel (R) Xeon (R) CPU E5-2630 v3 с 64 ГБ оперативной памяти и 2 графических процессора NVIDIA ® GTX 1080 TI.
4.1. Оптимизированная нормализация пятен fast_sn: Performance Results
На рисунке 10A представлены измерения времени обработки WSI с использованием оптимизированной реализации нормализации пятен, описанной в разделе 3.2. На рисунке показано общее время обработки, включая время чтения изображений, в зависимости от размера изображения в двойном логарифмическом масштабе. Разные цвета соответствуют изображениям с разрешением 10X и 40X, а разные маркеры соответствуют разным наборам данных / сканерам. Общее количество изображений, использованных для этих экспериментов, составило 175.
Рисунок 10 . Производительность fast_sn на WSI из разных наборов данных и факторов разрешения. (A) Время чтения и обработки как функция размера изображения. (B) Время обработки зависит только от фоновых пикселей.
На фиг. 10B показано соответствующее время обработки только как функция количества нефоновых пикселей. Мы строим модель линейной регрессии, в которой целевой переменной является t_proc, а зависимость между этой целевой переменной и количеством нефоновых пикселей nbg может быть выражена как t_proc (nbg) = 6,43 · 10 −9 · nbg + 3,25. Эта линейная модель имеет кратную метрику R в квадрате 0.7522, что означает, что наша реализация почти линейно масштабируется с количеством нефоновых пикселей.
4.2. Оптимизированная нормализация пятен
fast_sn по сравнению с эталоном: Результаты производительностиТаблица 1 сообщает для каждого набора данных среднее время обработки всех 10-кратных изображений с использованием fast_sn в сравнении со средним временем обработки эталонной реализации C ++ на основе кода MATLAB в (20). Как показано в таблице, наш fast_sn достигает коэффициента ускорения не менее 40 для 10-кратных изображений, за исключением набора данных, сгенерированного сканером A, где наша реализация достигает ускорения 20.Изображения в этом наборе данных имеют очень небольшой процент нефоновых пикселей (<5%), что делает достигнутый прирост ускорения менее заметным.
Таблица 1 . reference vs. fast_sn: время обработки (в секундах) и ускорение fast_sn.
Таблица 2 сообщает для каждого набора данных среднее время обработки и чтения для всех 10-кратных изображений с использованием fast_sn по сравнению с эталоном. Как показано в таблице, fast_sn достигает коэффициента ускорения не менее 9 для изображений 10X. Это ускорение можно еще больше улучшить, заменив библиотеку OpenSlide, используемую для загрузки / хранения изображений, оптимизированной библиотекой libtiff.Описание последнего выходит за рамки данной статьи. Эталонная реализация не могла работать при разрешении 40X из-за проблем с нехваткой памяти, поэтому мы не можем сообщить об ускорении для изображений 40X.
Таблица 2 . reference vs. fast_sn: время обработки и чтения (в секундах) и ускорение fast_sn.
4.3. Результаты точности конвейера машинного обучения: fast_sn против fast_rsn
На рисунке 11 показано влияние нормализации полных изображений всего слайда с двумя вариантами нормализации fast_rsn на точность прогнозирования модели CNN, описанной в разделе 3.4, где входной набор данных включает изображения, содержащие артефакты. Мы обучаем архитектуру сверточной нейронной сети (CNN) с помощью изображений, нормализованных по fast_sn (SN: fast_sn), с нормализованными изображениями fast_rsn (SN: fast_rsn) и с нормализованными изображениями fast_rsn_all (SN: fast_rsn_all). Мы наносим потери (рис. 11A) и показатель F1 (рис. 11B) на набор данных проверки в разные эпохи обучения.
Рисунок 11 . Влияние fast_rsn и fast_rsn_all на точность предсказания конвейера машинного обучения. (A) Влияние на потерю перекрестной энтропии. (B) Влияние на счет F1.
Результаты на Рисунке 11 показывают, что после того же количества эпох, т. Е. 500, обучение с использованием наших новых методов нормализации, описанных в разделе 3.3, приводит к снижению потерь при проверке до 30% и баллу F1 до 5%. точки. Мы также количественно оценили обобщающую силу моделей CNN на невидимом (тестовом) наборе данных. Нормализация входных изображений всего слайда с помощью fast_rsn улучшает оценку F1 на 5 процентных пунктов (с 0.79 до 0,84). Мы получаем аналогичные результаты при нормализации входных изображений всего слайда с помощью fast_rsn_all, и в этом случае оценка F1 улучшается на 8 процентных пунктов (с 0,79 до 0,87). Оба наших метода нормализации демонстрируют лучшее обобщение, чем fast_sn, при тестировании на невидимом наборе данных.
5. Обсуждение
В этой статье мы обращаемся к двум аспектам, связанным с предварительной обработкой нормализации окраски, которая является частью современных конвейеров на основе ML в гистопатологии.
• Нормализация пятен может значительно повлиять на задержку таких конвейеров, особенно при работе с полноразмерными изображениями большого размера и высоким разрешением.В этой работе мы представили высокопроизводительную архитектуру, которая позволяет выполнять крупномасштабную обработку изображений с высоким разрешением.
• Изображения низкого качества могут снизить точность решений конвейеров машинного обучения. Мы показали, что результат нормализации пятен может серьезно пострадать, если входное изображение содержит артефакты. Мы продемонстрировали такие случаи на основе реального набора данных и предложили усовершенствованный надежный метод нормализации.
5.1. Высокоэффективная система нормализации пятен
Наши алгоритмические улучшения и оптимизации на уровне системы могут быть применены к другим алгоритмам предварительной обработки, которые включают, например,g., автоматическое обнаружение фоновых пикселей, арифметические операции, такие как возведение в степень или логарифм, преобразование из области RGB в область оптической плотности, сортировка пикселей и извлечение процентилей или разложение по сингулярным числам.
Выборка пикселей также является общей оптимизацией, которая, например, в алгоритме нормализации пятен, представленном в Bejnordi et al. (10) используется косвенно через выборку фрагментов изображения. Для классификации пикселей используются только пиксели в выбранных плитках. При использовании выборки пикселей важно определить показатели, которые количественно определяют влияние использования только части доступных пикселей на качество нормализации.В нашей работе мы использовали евклидово расстояние векторов H&E и относительную ошибку устойчивого максимума отдельных концентраций пятен (макс. C h и макс C e ) между выборками. (с разными частотами выборки) и результаты без выборки (14).
Что касается производительности, мы показываем, что наша реализация масштабируется в зависимости от количества ткани, присутствующей на изображении, и обрабатывает 40-кратное изображение целого слайда за <50 с.Этот результат сравним со временем сканирования 60 с сверхбыстрых сканеров WSI для изображений с 40-кратным увеличением (32). Наша высокопроизводительная система предварительной обработки - это первый шаг к тому, чтобы сделать этап нормализации пятен подходящим для полной интеграции со сканированием изображений в гистопатологии.
5.2. Надежная нормализация пятен и машинное обучение
Предлагаемый нами метод обработки изображений низкого качества может быть применен также к другим алгоритмам нормализации пятен. В случае исследуемого алгоритма нормализации пятен критическими параметрами, определяющими качество нормализации, являются векторы H&E и устойчивые максимальные концентрации двух пятен.В случае изображений низкого качества эти параметры заменяются средними значениями параметров изображений хорошего качества из того же набора данных. Как показано в разделе 4, такой метод может значительно повысить точность трубопроводов ML. Другие алгоритмы нормализации на основе цвета могут иметь аналогичные или другие критические параметры. Например, Vahadane et al. (30) также необходимо оценить векторы пятен, но он использует другой метод, основанный на подходе, основанном на обучении по словарю, вместо выполнения разложения по сингулярным числам.
5.3. Другие методы нормализации пятен
За последние годы было предложено множество алгоритмов нормализации пятен (5–12). В этой статье мы использовали алгоритм Масенко (7) по нескольким причинам. (1) С точки зрения качества нормализации, это один из наиболее эффективных алгоритмов, как показывает углубленное исследование, представленное Zanjani et al. (13). (2) С точки зрения производительности системы ее можно эффективно оптимизировать и распараллелить. Создание высокопроизводительного и масштабируемого механизма нормализации пятен важно для будущих систем компьютерной диагностики в гистопатологии.
Еще один метод, который можно использовать вместе с нормализацией пятен для улучшения вариабельности между входными изображениями и, таким образом, повышения точности конвейеров машинного обучения, - это увеличение цвета (33). Увеличение цвета включает в себя различные методы обработки изображения, например, случайные отклонения яркости и контрастности изображения, случайный сдвиг оттенка и насыщенности, случайные возмущения в векторах пятен, которые обычно настраиваются вручную с помощью визуального осмотра. Lafarge et al. (23) показывают, что увеличение цвета может улучшить точность конвейера ML при использовании отдельно или в сочетании с алгоритмом нормализации пятен в Macenko et al.(7). Tellez et al. (34) показывают, что алгоритм нормализации окраски, представленный в Bejnordi et al. (10) в сочетании с увеличением цвета не обязательно лучше, чем только увеличение цвета. В этой статье мы сосредоточились на оптимизации и повышении устойчивости алгоритма нормализации пятен.
6. Выводы
Мы представили высокопроизводительную и масштабируемую систему, которая позволяет проводить крупномасштабную нормализацию окраски гистологических изображений целых слайдов с высоким разрешением. Наш конвейер использует высокооптимизированный низкоуровневый многоядерный движок, который устраняет узкие места памяти и времени выполнения вычислительной нагрузки нормализации пятен.Более того, его можно использовать с различными форматами изображений целого слайда, созданными сканерами, такими как Ventana, Aperio, Philips или Hamamatsu, и его можно легко расширить до других форматов изображений целого слайда. Такая система позволяет выполнять предварительную обработку больших наборов данных, что является критически важным условием для любой структуры машинного обучения, применяемой к биомедицинским изображениям.
Мы также предложили усовершенствование нормализации пятен, которое повышает точность конвейеров машинного обучения при наличии некачественных изображений целого слайда.Чтобы проиллюстрировать надежность нашего нового метода нормализации таких изображений, мы использовали конвейер машинного обучения на основе сверточных нейронных сетей, который классифицирует изображения для обнаружения рака простаты. В этом примерном конвейере наш улучшенный метод нормализации увеличивает показатель F1 для тестового набора данных с 0,79 до 0,87.
Доступность данных
Полные изображения слайдов CAMELYON16 и TUPAC16, использованные в этом исследовании, можно найти здесь: https: //camelyon16.grand-challenge.org / data / и http://tupac.tue-image.nl/node/3 соответственно. Эти два набора данных общедоступны, и к ним можно получить доступ через соответствующих организаторов задач. Два других набора данных принадлежат больницам, и у нас нет разрешения сделать их общедоступными.
Заявление об этике
Данные, использованные в этой публикации, были либо общедоступными, либо этически одобрены для использования в научных целях комитетом по этике Университетской клиники Цюриха.
Примечание автора
Данная журнальная статья является расширенной версией одной из ранее опубликованных нами статей (14).
Авторские взносы
AA, MS, SA и NP придумали идею, провели эксперименты, проанализировали данные и написали рукопись. JR и PW предоставили собственные наборы данных WSI, соответствующие аннотации степени опухоли и важные медицинские выводы, без которых рукопись не была бы в ее текущей версии. MG и HP внесли свой вклад в разработку проекта, предоставили управленческую поддержку и критические комментарии.
Заявление о конфликте интересов
AA, MS, SA, NP, MG и HP работают в компании IBM Research - Zurich.
Остальные авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могли бы быть истолкованы как потенциальный конфликт интересов.
Сноски
Список литературы
2. Литдженс Дж., Куй Т., Бейнорди Б. Э., Сетио ААА, Чомпи Ф., Гафуриан М. и др. Обзор по глубокому обучению в области анализа медицинских изображений. Med Image Анал . (2017) 42: 60–88. DOI: 10.1016 / j.media.2017.07.005
PubMed Аннотация | CrossRef Полный текст | Google Scholar
4.Зерхуни Э., Ланьи Д., Виана М., Габрани М. Широкие остаточные сети для обнаружения митозов. В: , 2017 14-й Международный симпозиум IEEE по биомедицинской визуализации (ISBI 2017) . Мельбурн, Виктория (2017). п. 924–8.
Google Scholar
5. Ruifrok AC, Johnston DA. Количественная оценка гистохимического окрашивания деконволюцией цвета. Анал Квант Цитол Гистол . (2001) 23: 291–9.
PubMed Аннотация | Google Scholar
6. Рабинович А., Агарвал С., Ларис К., Прайс Дж., Белонги С.Неконтролируемое разложение цвета гистологически окрашенных образцов ткани. В: Достижения в системах обработки нейронной информации 16 (NIPS 2003). Уистлер, Британская Колумбия (2003 г.). п. 667–74.
Google Scholar
7. Масенко М., Нитхаммер М., Маррон Дж. С., Борланд Д., Вусли Дж. Т., Гуан Х и др. Метод нормализации гистологических слайдов для количественного анализа. В: Международный симпозиум IEEE по биомедицинской визуализации, 2009 г., . Бостон, Массачусетс (2009). п. 1107–10.
Google Scholar
8.Khan AM, Rajpoot N, Treanor D, Magee D. Подход с нелинейным картированием для нормализации окрашивания в цифровых гистопатологических изображениях с использованием специфической для изображения деконволюции цвета. IEEE Trans Biomed Eng . (2014) 61: 1729–38. DOI: 10.1109 / TBME.2014.2303294
PubMed Аннотация | CrossRef Полный текст | Google Scholar
9. Li X, Plataniotis KN. Подход с полной нормализацией цвета к гистопатологическим изображениям с использованием цветовых меток, вычисленных на основе статистики, взвешенной по насыщенности. IEEE Trans Biomed Eng .(2015) 62: 1862–73. DOI: 10.1109 / TBME.2015.2405791
PubMed Аннотация | CrossRef Полный текст | Google Scholar
10. Бейнорди Б.Е., Литенс Г., Тимофеева Н., Отте-Хеллер И., Хомейер А., Карсемейер Н. и др. Стандартизация для конкретных пятен гистопатологических изображений всего слайда. IEEE Trans Med Imaging. (2016) 35: 404–15. DOI: 10.1109 / TMI.2015.2476509
PubMed Аннотация | CrossRef Полный текст | Google Scholar
11. Alsubaie N, Trahearn N, Raza SEA, Snead D, Rajpoot NM.Деконволюция пятен с использованием статистического анализа представления цвета пятен с несколькими разрешениями. ПЛоС ОДИН . (2017) 12: e0169875. DOI: 10.1371 / journal.pone.0169875
PubMed Аннотация | CrossRef Полный текст | Google Scholar
12. Яновчик А., Басаванхаллы А., Мадабхуши А. Нормализация пятен с использованием разреженных автоэнкодеров (StaNoSA): приложение к цифровой патологии. Компьютерная графика визуализации . (2017) 57: 50–61. DOI: 10.1016 / j.compmedimag.2016.05.003
PubMed Аннотация | CrossRef Полный текст | Google Scholar
13.Занджани Г.Ф., Зингер С., Эхтешами Бейнорди Б., ван дер Лаак Дж., С П. Нормализация пятен гистопатологических изображений с использованием генеративных состязательных сетей. В: 15-й Международный симпозиум IEEE по биомедицинской визуализации (ISBI) . Вашингтон, округ Колумбия (2018). п. 573–7.
Google Scholar
14. Станисавлевич М., Ангел А., Папандреу Н., Андани С., Пати П., Рюшофф Дж. Х. и др. Быстрый и масштабируемый конвейер для нормализации окрашивания полных изображений слайдов в гистопатологии. В: Компьютерное зрение - Семинары ECCV 2018 .Мюнхен (2018). п. 424–36. DOI: 10.1007 / 978-3-030-11024-6_32
CrossRef Полный текст | Google Scholar
18. Круз-Роа А., Гилмор Х., Басаванхалли А., Фельдман М., Ганесан С., Ши Н.Н.К. и др. Точное и воспроизводимое обнаружение инвазивного рака груди на изображениях целого слайда: метод глубокого обучения для количественной оценки степени опухоли. Научный сотрудник . (2017) 7: 46450. DOI: 10.1038 / srep46450
PubMed Аннотация | CrossRef Полный текст | Google Scholar
19. Литенс Г., Снчез К.И., Тимофеева Н., Хермсен М., Нагтегаал И., Ковач И. и др.Глубокое обучение как инструмент повышения точности и эффективности гистопатологической диагностики. Научный сотрудник . (2016) 6: 26286. DOI: 10.1038 / srep26286
PubMed Аннотация | CrossRef Полный текст | Google Scholar
21. Ciompi F, Geessink O, Bejnordi BE, de Souza GS, Baidoshvili A, Litjens GJS, et al. Важность нормализации окраски в классификации колоректальной ткани с помощью сверточных сетей. CoRR. 2017; абс / 1702.05931. Доступно в Интернете по адресу: http://arxiv.org/abs/1702.05931
Google Scholar
22. Чирешан Д.К., Джусти А., Гамбарделла Л.М., Шмидхубер Дж. Обнаружение митоза в гистологических изображениях рака груди с помощью глубоких нейронных сетей. В: Mori K, Sakuma I, Sato Y, Barillot C, Navab N, Editors. Вычисление медицинских изображений и компьютерное вмешательство - MICCAI 2013 . Берлин; Гейдельберг: Springer Berlin Heidelberg (2013). п. 411–8.
PubMed Аннотация | Google Scholar
23. Lafarge MW, Pluim JPW, Eppenhof K, Moeskops P, Veta M.Доменные состязательные нейронные сети для решения проблемы изменчивости внешнего вида гистопатологических изображений. В: Глубокое обучение в области анализа медицинских изображений и мультимодального обучения для поддержки принятия клинических решений. DLMIA . Квебек, Квебек (2017). п. 83–91.
Google Scholar
24. Оцу Н. Метод выбора порога по гистограммам уровней серого. IEEE Trans Syst Man Cybernet . (1979) 9: 62–6.
Google Scholar
27. Харрисон Р.Л. Введение в моделирование Монте-Карло.В: Granja C, Leroy C, Editors. Серия конференций Американского института физики, Vol. 1204 из серии конференций Американского института физики (2010). п. 17–21.
PubMed Аннотация | Google Scholar
29. Браун М.Б., Вулф Р.А. Оценка дисперсии оценок процентилей. Comput Statis Data Anal. (1983) 1: 167–74. DOI: 10.1016 / 0167-9473 (83) -9
CrossRef Полный текст | Google Scholar
30. Вахадане А., Пэн Т., Сетхи А., Албаркуни С., Ван Л., Бауст М. и др.Нормализация цвета с сохранением структуры и разделение разреженных пятен на гистологических изображениях. IEEE Trans Med Imaging . (2016) 35: 1962–71. DOI: 10.1109 / TMI.2016.2529665
PubMed Аннотация | CrossRef Полный текст | Google Scholar
31. Хе К., Чжан Х, Рен С., Сун Дж. Углубляясь в выпрямители: превосходя показатели человеческого уровня по классификации imageNet. В: Труды Международной конференции IEEE 2015 года по компьютерному зрению (ICCV). ICCV '15. Вашингтон, округ Колумбия: Компьютерное общество IEEE (2015).п. 1026–34.
Google Scholar
33. Комура Д., Исикава С. Методы машинного обучения для гистопатологического анализа изображений. Comput Struct Biotechnol J. (2017) 09:16. DOI: 10.1016 / j.csbj.2018.01.001
CrossRef Полный текст | Google Scholar
34. Tellez D, Litjens GJS, Bandi P, Bulten W., Bokhorst JM, Ciompi F, et al. Количественная оценка эффектов увеличения данных и нормализации цвета пятен в сверточных нейронных сетях для вычислительной патологии. ArXiv: 1902.06543 . (2019).
PubMed Аннотация | Google Scholar
Использование дифференциальной фенологии растительности для спутникового картирования полузасушливой травяной растительности на юго-западе США и Северной Мексике
Remote Sens. 2016,8, 889 30 из 33
22.
Dudley, K.L .; Dennison, P.E .; Roth, K.L .; Робертс, Д.А.; Коутс, А. Многовременный спектральный подход библиотеки
для картирования видов растительности через пространственные и временные фенологические градиенты.
Remote Sens. Environ. 2015, 167, 121–134. [CrossRef]
23.
Брэдли, Б.А. Дистанционное обнаружение инвазивных растений: обзор спектрального, текстурного и фенологического подходов.
Биол. Вторжения 2014,16, 1411–1425. [CrossRef]
24.
Hüttich, C .; Gessner, U .; Herold, M .; Strohbach, B.J .; Schmidt, M .; Keil, M .; Деч, С. О пригодности показателей временных рядов
MODIS для картирования типов растительности в экосистемах засушливых саванн: тематическое исследование в районе Калахари
на северо-востоке Намибии.Remote Sens. 2009,1, 620–643. [CrossRef]
25.
Brandt, M .; Hiernaux, P .; Тагессон, Т .; Verger, A .; Расмуссен, К .; Diouf, A.A .; Mbow, C .; Mougin, E .;
Фенсхольт, Р. Вуди Оценка растительного покрова засушливых земель на основе сезонных метрик наблюдения Земли.
Remote Sens. Environ. 2016, 172, 28–38. [CrossRef]
26.
Blanco, L.J .; Paruelo, J.M .; Oesterheld, M .; Биуррун, Ф. Пространственные и временные модели первичной продукции травянистых растений
в полузасушливых кустарниках: подход дистанционного зондирования.J. Veg. Sci. 2016 г., 27, 716–727. [CrossRef]
27.
Bajocco, S .; Драгоз, Э .; Gitas, I .; Smiraglia, D .; Salvati, L .; Рикотта, К. Картирование лесных топлив через растительность
Фенология: роль спутниковых временных рядов с низким разрешением. PLoS ONE
2015
, 10, e0119811. [CrossRef]
[PubMed]
28.
Elmore, A.J .; Asner, G.P .; Хьюз, Р.Ф. Спутниковый мониторинг фенологии растительности и условий сжигания топлива
в засушливых районах Гавайев.Земля Взаимодействие. 2005,9, 1–21. [CrossRef]
29.
Van Wagtendonk, J.W .; Рут, Р.Р. Использование разновременных данных Landsat Normalized Difference Vegetation
Index (NDVI) для картирования топливных моделей в национальном парке Йосемити, США. Int. J. Remote Sens.
2003
, 24,
1639–1651. [CrossRef]
30.
Diouf, A.A .; Brandt, M .; Verger, A .; Jarroudi, M.E .; Джабы, Б .; Fensholt, R .; Ndione, J.A .; Tychon, B. Fodder
Мониторинг биомассы в сахелианских пастбищах с использованием фенологических показателей из временных рядов FAPAR.Remote Sens.
2015,7, 9122–9148. [CrossRef]
31.
Horion, S .; Cornet, Y .; Erpicum, M .; Тихон, Б. Изучение взаимодействий между изменчивостью климата и динамикой растительности
с использованием подхода, основанного на фенологии. Int. J. Appl. Earth Obs. Geoinf.
2013
, 20, 20–32.
[CrossRef]
32.
Wu, C .; Gonsamo, A .; Chen, J.M .; Kurz, W.A .; Цена, д.т .; La eur, P.M .; Jassal, R.S .; Dragoni, D .; Bohrer, G .;
Гоф, К.M. Межгодовые и пространственные воздействия фенологических переходов, продолжительности вегетационного периода, весенних
и осенних температур на связывание углерода: синтез данных о потоках в Северной Америке. Glob. Планета. Чанг.
2012,92, 179–190. [CrossRef]
33.
Cleland, E.E .; Чуин, I .; Menzel, A .; Mooney, H.A .; Шварц, M.D. Изменение фенологии растений в ответ на глобальные изменения
. Trends Ecol. Evol. 2007, 22, 357–365. [CrossRef] [PubMed]
34.
Петторелли, Н.; Vik, J.O .; Mysterud, A .; Gaillard, J.-M .; Tucker, C.J .; Стенсет, Северная Каролина. Использование спутниковых данных
NDVI для оценки экологической реакции на изменение окружающей среды. Trends Ecol. Evol.
2005
, 20, 503–510. [CrossRef]
[PubMed]
35.
Weiss, J.L .; Gutzler, D.S .; Coonrod, J.E.A .; Дам, К. Долгосрочный мониторинг растительности с помощью NDVI в разнообразных полузасушливых условиях
, центральная часть Нью-Мексико, США. J. Arid Environ. 2004, 58, 249–272.[CrossRef]
36.
Салинас-Завала, Ц .; Дуглас, А .; Диас, Х. Межгодовая изменчивость NDVI на северо-западе Мексики. Ассоциированные
климатические механизмы и экологические последствия. Remote Sens. Environ. 2002, 82, 417–430. [CrossRef]
37.
White, M.A .; Thornton, P.E .; Бег, С. Континентальная фенологическая модель для мониторинга растительности
ответов на межгодовую изменчивость климата. Glob. Биогеохим. Циклы 1997,11, 217–234. [CrossRef]
38.
Eklundh, L .; Йонссон, П. TIMESAT: Пакет программного обеспечения для обработки временных рядов и оценки динамики растительности
. Во временных рядах дистанционного зондирования; Springer: Гейдельберг, Германия, 2015 г .; С. 141–158.
39.
Verma, M .; Friedl, M.A .; Finzi, A .; Филлипс, Н. Многокритериальная оценка пригодности функций роста
для моделирования фенологии с дистанционным зондированием. Ecol. Модель. 2016, 323, 123–132. [CrossRef]
40.
Тан, Б.; Morisette, J.T .; Wolfe, R.E .; Gao, F .; Ederer, G.A .; Nightingale, J .; Педелти, Я. Улучшенный алгоритм TIMESAT
для оценки показателей фенологии растительности на основе данных MODIS. IEEE J. Sel. Верхний. Прил. Earth Obs.
Remote Sens. 2011,4, 361–371. [CrossRef]
41.
Wu, J .; Альберт, Л.П .; Lopes, A.P .; Рестрепо-Купе, Н .; Хайек, М .; Wiedemann, K.T .; Guan, K .; Stark, S.