Skip to content

对量化模型的支持 #2

@Arcmoon-Hu

Description

@Arcmoon-Hu

期待能添加更多使用文档和示例。
请问对量化模型的支持,比如gptq和awq模型是否能直接加载使用

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions