Рейкастинг трехмерных текстур и функционально заданных поверхностей с применением графических ускорителей

Введение

Рейкастинг - самый распространенный подход для рендеринга объема благодаря своей гибкости при генерации изображения высокого качества ^[1-4]. Большой объем однородных данных, содержащихся в объемной модели очень хорошо распараллеливается при вычислениях. Сегодня даже обычный графический процессор (GPU) способен отобразить один объем данных высокого разрешения с высокой частотой кадров, с помощью программно-аппаратных шейдеров ускорителя. Однако отображение одного однородного объема не подходит для многих приложений. Одновременный рендеринг нескольких объемов необходим при обработке нескольких наборов данных. В медицинской визуализации такие методы получения анатомических изображений это: компьютерная томография (КТ), магнитно-резонансная томография (МРТ), УЗИ, и методы получения функциональных изображений, например, позитронная эмиссионная томография (ПЭТ), однофотонная эмиссионная компьютерная томография, функциональная МРТ, используются для обследования пациента ^[5-9]. Кроме того, модели медицинских инструментов и совмещение поверхностей с объемными данными необходимы для компьютерной хирургии. Виртуальные хирургические операции являются одними из наиболее перспективных направлений в медицине, в которых применяются трехмерная компьютерная графика и технологии виртуальной реальности. Системы виртуальной ортопедической хирургии, которые могут работать на общедоступных персональных компьютерах становятся актуальными. Использование специализированных аппаратных подсистем позволило достичь реального времени при прямом рендеринге объема ^{[2, 6, 10]}. В частности, 3D-отображение текстуры стало классическим методом объемного рендеринга для высокопроизводительных графических рабочих станций. Хотя аппаратная реализация позволяет генерировать изображения с высоким качеством, на практике ее использование в интерактивном режиме ограничено. Размер текстурной памяти на стандартных графических подсистемах ограничен и трудно поддерживать интерактивную частоту кадров, когда большие массивы данных подлежат обработке. Когда большой массив данных не помещается в доступную память текстур, необходима декомпозиция данных. В этом случае загрузка и выгрузка данных текстурной памяти, необходимых для визуализации всего объема, существенно уменьшают производительность рендеринга. Аппаратная реализация рендеринга 3D текстуры впервые упоминается в работах ^{[6, 11]}. В них используется алгоритм BTF. Этот алгоритм отображает объем данных в виде параллельных плоскостей. В результате множество плоскостей рисуется как набор текстурированных полигонов, которые смешиваются для получения окончательного изображения. Повышение эффективности достигается путем использования трилинейной интерполяции, поддерживаемой графикой подсистемы. Операции отображения и композиции текстур выполняются аппаратно очень быстро. Различают два основных метода рендеринга объема: рендеринг в объектном пространстве или рендеринг прямого хода (object-space rendering/forward rendering) и метод пространства изображения (image-space method/backward viewing method). В первом методе при обходе всего объема каждый воксель рассматривается как 3D точка, которая преобразуется по матрице видового преобразования, затем проецируется в Z-буфер и рисуется на экране. Существуют два алгоритма обхода объема: алгоритм BTF (back to front) по существу совпадает с алгоритмом Z-buffer и отличается только предварительной сортировкой массива вокселей, которая позволяет сканировать его компоненты в порядке уменьшения или увеличения расстояния до наблюдателя, используя предварительно отсортированные массивы вокселей. В алгоритме BTF обход объема производится в порядке уменьшения расстояния до наблюдателя, а Z-buffer нужен для удаления невидимых частей объекта ^[12]. Алгоритм FTB (front to back) в основном совпадает с BTF, однако в нем воксели обрабатываются в порядке возрастания расстояния ^{[3, 13]}. Это надо отметить, имея в виду то, что алгоритм Z-buffer не может обеспечивать правильный рендеринг полупрозрачных материалов, так как воксели отображаются на экран в произвольном порядке. Во втором методе через каждый пиксель плоскости изображения пускается луч от взгляда наблюдателя сквозь объём ^{[14, 15]}. В каждом полученном пересечении луча с объемом вычисляется коэффициент непрозрачности, учитывая влияние ближайших вокселей. На протяжении траектории луча вычисляется сумма непрозрачности пересечений, пока она не достигнет определённого значения. Рассчитывается тень и освещение для полученного изображения. То есть при таком методе на один пиксель плоскости изображения влияют несколько вокселей. С момента использования 3D текстур для объемной визуализации, было предложено несколько улучшенных подходов ^[16-18]. Представление информации об объеме в текстурной памяти - один тексель (элемент текстуры) на воксель. Эта стратегия гарантирует хорошее качество изображения, но ограниченный размер памяти текстур часто делает невозможным хранение всего набора данных сразу в памяти текстуры. В некоторых подходах было предложено снятие этого ограничения. Например, метод, основанный на разложении воксельного пространства и загрузки фрагментов текстурных данных в память текстуры по запросу. Фрагмент соответствует подмножеству воксельных данных, которые по определению, меньше или равны доступному объему памяти. Каждый фрагмент обрабатывается независимо, и окончательный результат зависит от этого вклада. К сожалению, загрузка текстур и перекачка данных резко снижают частоту кадров. Процесс обработки фрагментов может быть выполнен с различными стратегиями, в основе которых лежит нижеследующие критерии: простое разделение данных. Объем можно разложить на наименьшее число фрагментов с максимальным размером. Этот критерий сокращает объем избыточных данных, которые необходимо хранить между смежными фрагментами для сохранения непрерывности ^[19]. Метод отсутствия пустого воксельного представления. При разложение фрагментов пытаться уменьшить процент пустых вокселей, представленных в памяти текстур. Пустые области обнаруживаются во время предварительной обработки ^{[16, 17]}. В представлении со многими разрешениями разложение фрагментов основано на оценке пользовательских параметров, таких как степень интереса, степень однородности, расстояние от наблюдателя, и т.д. ^[20]. Иерархические структуры данных и адаптивные методы описаны в ^[21-23]. Подход, в котором данные текселя представляют значения плотности и градиента описан в ^{[24, 25]}. В этом случае представление текстуры больше не зависит от вида и затененных изображений.

В данной работе представлен метод визуализации трехмерных текстур и функционально заданных поверхностей, который имеет свои особенности в представлении данных объема и критерии, используемые для организации данных, а также подход, разработанный для выбора массива данных (фрагментов) и для определения разрешения, при котором представлен каждый фрагмент. Предлагаемый метод не учитывает зависимые от представления критерии (которые, как правило, основаны на искажении перспективы и сокращении дальних фрагментов), потому что, в объемном рендеринге различия в проецировании очень ограничены. Из-за ограниченного пространственного массива данных объема, все воксели имеют приблизительно равный размер проекции. Причем, параллельные проекции используются очень часто. Поэтому в центре внимания остаются конструкции независимого от наблюдателя многозначного критерия, который должен учитывать однородность данных и область интереса.

Трехмерная текстура

Дадим определение текстуры в «объёмном» смысле, исходя из её первоначального определения в «поверхностном» варианте ^[26]. Кроме того, однозначно определим основные понятия. Текстура – это детализация поверхности или объёма отображаемого объекта. Здесь существенно то, что не оговаривается конкретное строение текстуры, то есть текстура в общем случае не обязательно представляет собой двумерный массив текселей. Отображаемый объект – это вся трёхмерная сцена или её элемент, несущий информацию о своей форме. Свойство отображаемого объекта – это любой параметр, назначенный этому объекту, который используется при вычислении результирующего цвета пикселя на экране. Например, это могут быть цвет объекта, весовые коэффициенты диффузной и отражающей составляющих модели освещения Фонга, полупрозрачность и т.д. Текстура, таким образом, может влиять на любой параметр отображаемого объекта. Визуализация скалярных массивов, хотя и требует значительных затрат памяти (порядка N² или N³ для двумерных и трехмерных массивов, соответственно), но по сравнению с эквивалентным их представлением в виде множества треугольников, массивы всё же более компактны и удобны в использовании и манипулировании. Пусть имеется объект, представляющий собой какой-то скалярный массив в каком-то формате, известном только самому объекту. Определим этот объект как объект-массив. В итоге, в системе основные примитивы будут представлены двумя классами объектов. Один класс – это аналитически описанные функционально заданные поверхности, другой – массивы скалярных данных. И тот, и другой классы имеют более компактное описание по сравнению с треугольниками. Объект-массив может быть реализован несколькими способами. Он может заключать в себе одномерный, двумерный или трёхмерный массив, а также может являться сеткой высот. По данному в этой работе определению, текстура – это объект (не отображаемый), изменяющий свойства другого объекта. Особенностью текстуры является то, что текстурой может быть любой объект. Для этого было предложено незначительное изменение схемы обработки данных и построения дерева сцены, не затрагивая самого алгоритма растрирования. На самом последнем уровне рекурсии деления, вычисляется ближайший видимый воксель и запрашиваются у отображаемого объекта (сцены) параметры этого элемента пространства для их использования в вычислении цвета пикселя. Добавлением в структуре данных при учёте текстуры является то, что каждый объект может содержать ссылку на другой объект, являющийся текстурой для первого. Если этой ссылки нет, то объект на запрос о значении своих свойств выдаёт значение, определённое для этого объекта по умолчанию. Иначе, параметры объекта в текущем вокселе подвергаются изменениям со стороны объекта-текстуры, на которую ссылается объект. Важным при наложении текстуры на объект является преобразование координат из текстурного пространства (U, V, W) в пространство объекта (X, Y, Z). В нашем случае параметризация нужна только для объектов-массивов. Чтобы иметь возможность накладывать текстуру на поверхность и объём отображаемого объекта, объекты-массивы дополнены свойством преобразования координат из модельного пространства M в текстурное пространство T. При запросе у объекта-массива значения какого-то свойства, он преобразует координаты текущего вокселя из M в T, и использует эти координаты как адрес в массиве. Если, например, массив двумерный, то одна координата не используется.

Функционально заданные поверхности

Для описания поверхностей используются функции отклонения (второго порядка) от базовой квадрики ^[27]. Функция задается алгебраическим неравенством второй степени с тремя неизвестными x,y,z в виде F(x,y,z) ³ 0. Рассматриваются поверхности как замкнутые подмножества Евклидова пространства, определяемые описывающей функцией F(x,y,z) ³ 0. Где F - непрерывная вещественная функция; x,y,z - задаваемая координатными переменными точка в трехмерном пространстве. Здесь F(x,y,z) > 0 задает точки внутри поверхности, F(x,y,z) = 0 – точки на границе и F(x,y,z) < 0 - точки, лежащие снаружи и не принадлежащие поверхности.

Поверхности строятся с помощью квадрик и представляются композицией базовой квадрики и возмущений.

Геометрическая модель создаёт условия для конструирования объектов и их композиций различной сложности. Для этого используется множество геометрических операций F, определяемое математически следующим образом ^[28]:

F¡: M¹+M²+…+Mⁿ →M.

Для формирования моделей сложных объектов на базе функций возмущения используются теоретико-множественные операции, осуществляемые с применением булевых операций объединения и пересечения.

Тайловая технология визуализации

Метод позволяет визуализировать несколько объемов в комбинации с функциональными поверхностями с применением сортировки по глубине всех фрагментов сцены ^[29-31]. Для этого применяется тайловая технология визуализации ^[32]. Суть ее заключается в следующем. Процесс растрирования разбивается на два этапа. В общем случае первый этап заканчивается, когда рассматриваемой части соответствует клетка определенного размера (тайл/tile). Примитивами промежуточного описания являются фрагменты пересечения геометрических объектов с клетками. Второй этап вычислений - обработка списка объектов, определение видимости и цвета пикселей. Применяется рейкастинг изображения со сложными пересечениями объемных данных с поверхностями. Объемные данные хранятся в виде трехмерных текстур ^[26]. Максимальный размер текстуры зависит только от доступной графической памяти. Все вычисления выполняются на графическом акселераторе (GPU). Описание состоит из простого графика сцены.

Внутренние узлы дерева, связанны с операциями конструктивной твердотельной геометрии (CSG), и листья ссылаются к объекту. А также к объемной текстуре и материалу с его свойствами. Алгоритм рейкастинга лучей включает обычные шаги рендеринга: преобразование объекта, растеризация, и обработка фрагментов. Обработка фрагментов выполняется в параллельно-пиксельном режиме для клеток 8х8 пикселей, и отслеживает прохождение соседних лучей по объемам, представленным как 3D текстуры. Для этого также используется кэш когерентности текстур. Система рендеринга проходит сцену только один раз. Реализованы все шаги в программном обеспечении CUDA, и поэтому имеется доступ ко всем промежуточным результатам конвейера, которые хранятся в общей памяти для максимальной производительности. Реализованы два отдельных вычислительных конвейера (один для обработки объектов, а другой - для обработки фрагментов). Производится сортировка списка всех соответствующих фрагментов для каждого пикселя, которая завершается после обработки всех объектов. Вычислительный конвейер объектов отвечает за геометрические преобразования и определение принадлежности объектов клеткам. Пиксельный конвейер получает фрагменты в произвольном порядке. Далее они сортируются в Z-направлении, прежде чем, они могут быть использованы. Окончательная трассировка лучей и затенение требуют смешивания нескольких пересекающихся объемных объектов, и эффективного накопления отдельных объемных вкладов вдоль лучей. В обычном рендеринге сцен преобладают непрозрачные объекты, высокая производительность связана с возможностью идентификации маскированных частей сцены в начале конвейера. В отличие от классического объемного подхода, предлагаемый метод рендеринга должен растрировать все поверхности и передать информацию на экране покрытия поверхностей (маскирование) как можно быстрее до обработки пикселей. После преобразования объекта в пространство экрана, для каждой клетки (тайла) 8х8 пикселей вычисляется маска. Эта простая стратегия хорошо подходит для аппаратной технологии CUDA и предпочтительнее более сложных подходов. Для метода важно, чтобы каждый фрагмент, охватываемый границей объема, вычислялся один раз с момента инициализации. Поэтому вычисляются покрытые пиксели для каждой поверхности. Блок вычислений, ответственного за клетку, состоит из 64 вычислителей, один для каждого пикселя в тайле. Первая задача для вычислителя - построить представление луча, состоящего из пересечений с поверхностями, отсортированных по глубине. Вычислитель выполняет итерацию по списку поверхностей, записывает и проверяет свой бит в маске покрытия. Если бит установлен, то он вычисляет глубину пересечения с помощью уравнения поверхности. Z-значения и идентификаторы поверхности хранятся в виде массива в быстром доступе общей памяти. Поэтому выделяется только одно 32-разрядное значение каждой записи, 16-бит - на запись Z-значения и 16-бит для идентификатора поверхности. Записи в этом массиве чередуются, чтобы избежать конфликтов. Кроме того, имеется общая память 16 КБ, которая разделяется на 64 слота, что позволяет каждому вычислителю сохранить максимум 63 записи. Это ограничивает максимальную глубину сложности 63. Массив поддерживается в сортированном порядке путем вставки новых значений в соответствующее положение, начиная с элементов ближних к наблюдателю. Получается, что время, затраченное на сортировку, не велико по сравнению с последующим временем прохождения луча, даже для специально разработанного худшего сценария, в котором весь список фрагментов расположен в обратном порядке (т. е., имеет квадратичную временную сложность). Более того, благодаря пространственной когерентности для умеренно сложных сцен, операция вставки используется для многих потоков. Обоснование такого подхода состоит в том, что фрагменты маскированные 63 более близкими слоями будут иметь минимальное влияние на окончательное изображения, и, следовательно, могут быть замаскированы. Чтобы проиллюстрировать это утверждение, были протестированы сцены с очень высокой глубинной сложностью. После сортировки, пиксельный поток выполняет итерацию отсортированного массива в порядке от ближайшего до самого дальнего. Глубина интервала между двумя последовательными записями в массиве определяет однородный сегмент луча относительно пересекающихся объектов. Переходя по массиву, поддерживается информация о пересекающихся объектов сцены, которые являются листьями дерева конструктивной твердотельной геометрии (CSG). Если один или несколько объектов сцены пересекаются, начальная точка луча должна быть преобразована в координаты модели, образуя таким образом, набор лучей пространства объекта. Для каждого пространства объекта, луч должен использовать одинаковый размер шага в мировой системе координат, чтобы правильно смешивать образцы для каждого объекта сцены. Так как объекты сцены могут иметь различные размер и разрешение, используется минимальный размер шага всех объектов вдоль отрезка луча, чтобы гарантировать отсутствие пропусков. Так как это может привести к передискретизации разрешения объектов, обеспечивается вариант регулировки этого параметра. Пропуск пустого пространства является необходимым методом ускорения для объемной визуализации. Эффективная обработка граничной геометрии в предлагаемом методе рендеринга позволяет пропускать внешнее и внутреннее пространство для ускорения вычислений. Это легко может быть достигнуто путем выполнения вычисления параллельно на GPU, тем самым избегая дополнительных медленных передач данных из памяти. Время вычислений для набора данных 5К составляет около одной миллисекунды на NVIDIA 470 GTX. Новые ограничивающие геометрические поверхности вставляются в глобальный список поверхностей в глобальной памяти GPU и связанны с соответствующими объектами сцены. Во время обхода луча с помощью сортированного списка фрагментов, ограничивающие геометрические поверхности позволяют одновременно пропускать внутреннее пространство на основе набора активных объектов, который обновляется всякий раз, когда фрагмент граничной геометрии обрабатывается, при добавлении или удалении определенного объекта. Использование плотно прилегающей ограничительной геометрии увеличивает частоту кадров до 25%, в частности, при передаче функций, которые делают большие части объема прозрачными. В целом на оптимизацию влияют как конвейер вычислений поверхностей, так и конвейер обработки пикселей.

Заключение

Разработан новый подход к визуализации массивов полупрозрачных объемов и функционально заданных поверхностей. С помощью технологии CUDA разработан программный конвейер рендеринга, который выполняется параллельно. Такой подход актуален для широкого спектра применений. Это увеличивает практическую применимость объемного рендеринга к очень сложным сценам, включая пересекающиеся объемы и поверхности для медицинских приложений. Как показано в данной статье, метод является простым в реализации, и позволяет применить его для многих приложений.

Модели медицинских инструментов и совмещение поверхностей с объемными данными необходимы для компьютерной хирургии. Виртуальные хирургические операции являются одними из наиболее перспективных направлений в медицине, в которых применяются трехмерная компьютерная графика и технологии виртуальной реальности. Системы виртуальной ортопедической хирургии, которые могут работать на общедоступных персональных компьютерах становятся актуальными. Например, во время обучения общей ортопедической хирургии, врачи исследуют переломы на пластических костях с помощью хирургических инструментов и имплантов. Хирурги заинтересованы, во-первых, в экономии стоимости костей, так как синтетические кости хорошего качества стоят дорого. Во-вторых, появляется возможность работать с нужными костями, которые могут быть недоступны на рынке в данный момент. Кроме того, полезной возможностью является исследование на виртуальных моделях реальных переломов, полученных из данных КТ или МРТ. Конечно, это виртуальное обучение не заменит полностью обязательного обучения на синтетических костях, но может позволить студентам выполнять начальную рутинную работу полностью в виртуальной среде, тем самым экономя расходы и время обычной подготовки. А также можно будет выполнить хирургическое планирование операции. Рендеринг нескольких объемов одновременно в композиции с поверхностями осуществить труднее, чем визуализацию отдельных объемов, так как требует обработки перекрытий объемов и смешивания цветов. Пересчет объемов в единой системе координат не желательно, так как это приводит к потере качества, или увеличению требованиям к памяти. Обязательное требование в виртуальной хирургии - сочетание объёмов с поверхностями. Функциональные модели хорошо подходят для встраивания посторонних объектов (инструментов, имплантов и пр.) в объемные данные.

Предлагается компактное представление текстуры с использованием однородности данных и важности информации для уменьшения требуемой памяти текстуры и скорости вычислений. В основе метода лежит эффективное управление текстурами, в которой назначается память текстур по степени значимости региона и содержанию воксельных данных. Сочетание данных, интерполяции и важности данных определяют выбранный набор узлов дерева. Эти узлы определяют, как должен быть объем разложен и представлен в памяти текстур. Экспериментальные результаты показывают хорошее качество визуализации в интерактивном режиме. Разработка приложений с использованием стандартных библиотек OpenGL и DirectX позволяет применять широкие возможности графических акселераторов в самых различных областях виртуальной реальности. В данной работе представлен метод, направленный на разработку недорогой альтернативы обычному ортопедическому хирургическому обучению, и для прочих медицинских приложений. Такой метод подходит для применения в виртуальной нейрохирургии, где наборы объемных данных различных разрешений необходимо сочетать с геометрическими данными.