在實作前須準備幾項資料，若是從NVIDIA DIGITS實作的模型，可透過NVIDIA DIGITS模型訓練頁面中的Download Model功能下載TensorRT所有需要的資料。
模型檔案解壓縮後，其中包含數個檔案是TensorRT所需要的輸入檔，包含：
接著至主程式加入上述檔名及設定。OUTPUT_NAME為模型輸出的形式，因為是分類問題，所以會設定為機率型態的prob。INPUT_SHAPE則表示輸入影像的解析度(通道數, x, y)，而DTYPE部分設定為原始模型使用的運算精度。
接著透過TensorRT內部引擎使用pycuda進行記憶體管理及平行化運算流程的優化，裡面同時使用了CUDA中Page-Locked方法及CUDA Stream方法，目的都是在加速運算流程和減少資料輸入/輸出到GPU時的延遲情況。
最後在下圖區塊設定輸入影像的處理方式，將影像轉成從三維陣列轉成一維的向量(normalize_image)，並將一維向量的陣列複製到pagelocked_buffer (h_input)，轉換前還會先將影像資料減去影像平均檔進行正規化。
程序在下圖區塊會將資料傳到GPU。並且將預測結果回從GPU回傳到CPU端。
最後將TensorRT模型儲存後，設定即大功告成。
實測Caffe使用tensorRT可比單純使用GPU進行推論快約3倍。
以下提供利用OpenCV讀入WebCam擷取影像後，再透過TensorRT進行推論的影片範例。