from langchain.llms import CTransformers
llm = CTransformers(
    model="llama-2-7b-chat.ggmlv3.q2_K.bin",
    model_type="llama"
)
content = input('시의 주제를 제시해주세요: ')
result = llm.predict("write a poem about " + content + ": ")
print(result)

설치 라이브러리 (pip install + 라이브러리)

• langchain, Ctransformers 설치 필요
• Ctransformers는 아래 링크 참조