Supported Operators#
{“line”:”The following table lists the ONNX operators supported in Ryzen AI 1.8.0. The operators are categorized by their support for different quantization types: BF16, A16W8, A8W8, and XINT8. A "Y" indicates that Ryzen AI provides broad coverage for that operator and that specific quantization
Ops |
BF16 |
A16W8 |
A8W8 |
XINT8 |
|---|---|---|---|---|
Abs |
Y |
Y |
||
Add |
Y |
Y |
Y |
Y |
And |
Y |
Y |
||
ArgMax |
Y |
Y |
||
ArgMin |
Y |
Y |
||
AveragePool |
Y |
Y |
Y |
Y |
BatchNormalization |
Y |
Y |
Y |
Y |
BitShift |
Y |
Y |
||
BitwiseAnd |
Y |
Y |
||
BitwiseNot |
Y |
Y |
||
BitwiseOr |
Y |
Y |
||
BitwiseXor |
Y |
Y |
||
Cast |
Y |
Y |
||
Ceil |
Y |
Y |
||
Celu |
Y |
|||
Clip |
Y |
Y |
Y |
|
Concat |
Y |
Y |
Y |
Y |
Constant |
Y |
Y |
Y |
Y |
ConstantOfShape |
Y |
Y |
Y |
Y |
Conv |
Y |
Y |
Y |
Y |
ConvTranspose |
Y |
Y |
Y |
|
Cos |
Y |
Y |
||
CumSum |
Y |
Y |
||
DepthToSpace |
Y |
Y |
Y |
Y |
DequantizeLinear |
Y |
Y |
Y |
|
Div |
Y |
Y |
Y |
Y |
Einsum |
Y |
|||
Elu |
Y |
Y |
||
Equal |
Y |
Y |
||
Erf |
Y |
Y |
||
Exp |
Y |
Y |
||
Expand |
Y |
Y |
Y |
Y |
Flatten |
Y |
Y |
Y |
Y |
Floor |
Y |
Y |
||
Gather |
Y |
|||
GatherElements |
Y |
Y |
||
Gelu |
Y |
Y |
Y |
|
Gemm |
Y |
Y |
Y |
Y |
GlobalAveragePool |
Y |
Y |
Y |
Y |
GlobalMaxPool |
Y |
Y |
Y |
|
Greater |
Y |
Y |
||
GreaterOrEqual |
Y |
|||
GridSample |
Y |
|||
GroupConv |
Y |
|||
GroupNormalization |
Y |
Y |
Y |
|
HardSigmoid |
Y |
|||
HardSwish |
Y |
Y |
||
Identity |
Y |
Y |
Y |
Y |
InstanceNormalization |
Y |
Y |
Y |
Y |
LSTM |
Y |
|||
LayerNormalization |
Y |
|||
LeakyRelu |
Y |
Y |
Y |
|
Less |
Y |
Y |
||
LessOrEqual |
Y |
|||
Log |
Y |
Y |
||
MatMul |
Y |
Y |
Y |
Y |
Max |
Y |
Y |
Y |
Y |
MaxPool |
Y |
Y |
Y |
Y |
Min |
Y |
Y |
Y |
Y |
Mish |
Y |
|||
Mod |
Y |
|||
Mul |
Y |
Y |
Y |
Y |
Neg |
Y |
Y |
||
Not |
Y |
|||
Or |
Y |
Y |
||
Pad |
Y |
Y |
Y |
Y |
Pow |
Y |
Y |
||
QLinearConv |
Y |
Y |
||
QLinearMatMul |
Y |
|||
QuantizeLinear |
Y |
Y |
||
Range |
Y |
|||
Reciprocal |
Y |
Y |
Y |
Y |
ReduceMax |
Y |
Y |
Y |
Y |
ReduceMean |
Y |
Y |
Y |
|
ReduceMin |
Y |
Y |
Y |
|
ReduceSum |
Y |
Y |
Y |
|
Relu |
Y |
Y |
Y |
|
Reshape |
Y |
Y |
Y |
Y |
Resize |
Y |
Y |
Y |
|
Round |
Y |
Y |
||
STFT |
Y |
|||
ScatterND |
Y |
|||
Shape |
Y |
Y |
Y |
Y |
Shrink |
Y |
|||
Sigmoid |
Y |
Y |
Y |
|
Sign |
Y |
Y |
||
Sin |
Y |
Y |
Y |
|
Size |
Y |
|||
Slice |
Y |
Y |
Y |
Y |
Softmax |
Y |
Y |
Y |
|
Softsign |
Y |
|||
Split |
Y |
Y |
||
Sqrt |
Y |
Y |
Y |
Y |
Squeeze |
Y |
Y |
Y |
Y |
Sub |
Y |
Y |
Y |
Y |
Tanh |
Y |
Y |
Y |
|
ThresholdedRelu |
Y |
|||
Tile |
Y |
Y |
||
TopK |
Y |
Y |
||
Transpose |
Y |
Y |
Y |
Y |
Unsqueeze |
Y |
Y |
Y |
Y |
Upsample |
Y |
Y |
Y |
|
Upsample (deprecated) |
Y |
|||
Where |
Y |
Y |
Y |
|
Xor |
Y |
LLM Operator support#
The Ryzen AI LLM execution flow supports ONNX Runtime GenAI-based models with the following operators:
SimplifiedLayerNormalization
SkipSimplifiedLayerNormalization
MatMulNBits (W4ABF16/W4ABFP16)
Add
RotaryEmbedding
GroupQueryAttention
Sigmoid
Mul
These operators are optimized for execution on the Ryzen AI NPU via the ONNX Runtime GenAI framework.