Xem mã nguồn của Kỹ thuật tạo lệnh

{{Mô tả ngắn|Cấu trúc văn bản đầu vào cho AI tạo sinh}}{{Về|các phương tiện tương tác (lệnh nhắc) với hệ thống trí tuệ nhân tạo|giao diện dòng lệnh máy tính nói chung và các mục nhập lệnh|Giao diện dòng lệnh}}

'''Kỹ thuật tạo lệnh''' hoặc '''kỹ thuật ra lệnh'''<ref>{{chú thích web|last1=Điệp|first1=Anh|title=Kỹ sư ra lệnh - công việc sinh ra trong cơn sốt AI|url=https://vnexpress.net/ky-su-ra-lenh-cong-viec-sinh-ra-trong-con-sot-ai-4681381.html|website=[[VnExpress]]|date=2023-11-28}}</ref> (prompt engineering) là quá trình cấu trúc một '''văn bản đầu vào''' cho [[AI tạo sinh]] giải thích và diễn giải.<ref name="diab">{{chú thích web|url=https://cdn.openart.ai/assets/Stable%20Diffusion%20Prompt%20Book%20From%20OpenArt%2011-13.pdf |title=Stable Diffusion Prompt Book |last1=Diab |first1=Mohamad |last2=  Herrera |first2=Julian |last3=Chernow |first3=Bob |date=2022-10-28 |access-date=2023-08-07 |quote="Prompt engineering is the process of structuring words that can be interpreted and understood by a ''text-to-image'' model. Think of it as the language you need to speak in order to tell an AI model what to draw."}}</ref><ref>{{chú thích web |author=Ziegler |first1=Albert |last2=Berryman |first2=John |date=17 July 2023 |title=A developer's guide to prompt engineering and LLMs |url=https://github.blog/2023-07-17-prompt-engineering-guide-generative-ai-llms/ |website=The GitHub Blog |quote="Prompt engineering is the art of communicating with a generative AI model."}}</ref> 
Một '''văn bản đầu vào''' (prompt), còn được gọi là '''lệnh nhắc''', hoặc '''gợi ý''', là văn bản [[ngôn ngữ tự nhiên]] mô tả nhiệm vụ mà một AI cần thực hiện:<ref name="language-models-are-multitask">{{chú thích web |last1=Radford |first1=Alec |last2=Wu |first2=Jeffrey |last3=Child |first3=Rewon |last4=Luan |first4=David |last5=Amodei |first5=Dario |last6=Sutskever |first6=Ilya |year=2019 |title=Language Models are Unsupervised Multitask Learners |url=https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf |publisher=OpenAI |quote="We demonstrate language models can perform down-stream tasks in a zero-shot setting – without any parameter or architecture modification"}}</ref> một lệnh nhắc cho mô hình ngôn ngữ lớn có thể là một truy vấn như "định lý nhỏ Fermat là gì?",<ref>{{chú thích web |last= |date=2022-11-30 |title=Introducing ChatGPT |url=https://openai.com/blog/chatgpt |access-date=2023-08-16 |website=OpenAI Blog |quote="what is the fermat's little theorem"}}</ref> một mệnh lệnh như "viết một bài thơ về lá rụng",<ref name="zapier20230803">{{chú thích web|url=https://zapier.com/blog/gpt-prompt/|title=How to write an effective GPT-3 or GPT-4 prompt|last=Robinson|first=Reid|date=August 3, 2023|website=Zapier|access-date=2023-08-14|quote="Basic prompt: 'Write a poem about leaves falling.' Better prompt: 'Write a poem in the style of Edgar Allan Poe about leaves falling.'}}</ref> hoặc một câu dài bao gồm ngữ cảnh, hướng dẫn,<ref>{{chú thích web|last=Gouws-Stewart|first=Natasha|title=The ultimate guide to prompt engineering your GPT-3.5-Turbo model|url=https://masterofcode.com/blog/the-ultimate-guide-to-gpt-prompt-engineering|website=masterofcode.com|date=June 16, 2023}}</ref> và lịch sử cuộc trò chuyện. Kỹ thuật tạo lệnh có thể liên quan đến việc diễn đạt một truy vấn, chỉ định một phong cách,<ref name="zapier20230803"/> cung cấp ngữ cảnh phù hợp<ref>{{chú thích web |last1=Greenberg, J. |first1=Laura |title=How to Prime and Prompt ChatGPT for More Reliable Contract Drafting Support |url=https://contractnerds.com/how-to-prime-and-prompt-chatgpt-for-more-reliable-contract-drafting-support |website=contractnerds.com |date=31 May 2023 |access-date=24 July 2023}}</ref> hoặc giao cho AI một vai trò như "Hành động như một người bản xứ Pháp".<ref>{{chú thích web|url=https://platform.openai.com/docs/guides/gpt-best-practices|title=GPT Best Practices|publisher=OpenAI|access-date=2023-08-16}}</ref> Một lệnh nhắc có thể bao gồm một vài ví dụ để mô hình học hỏi, chẳng hạn như yêu cầu mô hình hoàn thành chuỗi "maison → house, chat → cat, chien → ... " (câu trả lời mong đợi là ''dog''),<ref>{{cite arXiv | eprint=2208.01066 | last1=Garg | first1=Shivam | last2=Tsipras | first2=Dimitris | last3=Liang | first3=Percy | last4=Valiant | first4=Gregory | title=What Can Transformers Learn In-Context? A Case Study of Simple Function Classes | year=2022 | class=cs.CL }}</ref> phương pháp này được gọi là '''học với ít mẫu'''.<ref>{{chú thích tạp chí |last1=Brown |first1=Tom |last2=Mann |first2=Benjamin |last3=Ryder |first3=Nick |last4=Subbiah |first4=Melanie |last5=Kaplan |first5=Jared D. |last6=Dhariwal |first6=Prafulla |last7=Neelakantan |first7=Arvind |year=2020 |title=Language models are few-shot learners |journal=Advances in Neural Information Processing Systems |volume=33 |pages=1877–1901 |arxiv=2005.14165}}</ref>

Khi giao tiếp với một mô hình chuyển văn bản thành hình ảnh hoặc mô hình chuyển văn bản thành âm thanh, một lệnh nhắc điển hình là mô tả đầu ra mong muốn như "một bức ảnh chất lượng cao của một phi hành gia cưỡi ngựa"<ref>{{chú thích web|last=Heaven|first=Will Douglas|title=This horse-riding astronaut is a milestone on AI's long road towards understanding|url=https://www.technologyreview.com/2022/04/06/1049061/dalle-openai-gpt3-ai-agi-multimodal-image-generation/|website=MIT Technology Review|access-date=2023-08-14|date=April 6, 2022}}</ref> hoặc "Lo-fi slow BPM electro chill với các mẫu âm thanh tự nhiên (tiếng chim hót, tiếng mưa, tiếng sóng vỗ)".<ref>{{chú thích web|last=Wiggers|first=Kyle|title=Meta open sources an AI-powered music generator|url=https://techcrunch.com/2023/06/12/meta-open-sources-an-ai-powered-music-generator/|publisher=TechCrunch|date=2023-06-12|access-date=2023-08-15|quote=Next, I gave a more complicated prompt to attempt to throw MusicGen for a loop: "Lo-fi slow BPM electro chill with organic samples."}}</ref> Việc nhắc nhở một mô hình chuyển văn bản thành hình ảnh có thể liên quan đến việc thêm, loại bỏ, nhấn mạnh và sắp xếp lại các từ để đạt được đối tượng, phong cách,<ref name="diab"/> bố cục, ánh sáng,<ref>{{chú thích web|url=https://claid.ai/blog/article/prompt-guide/|title=How to Write AI Photoshoot Prompts: A Guide for Better Product Photos|website=claid.ai|access-date=June 12, 2023|date=June 12, 2023}}</ref> và thẩm mỹ mong muốn.

==Học tập theo ngữ cảnh==

Kỹ thuật tạo lệnh trở nên khả thi nhờ vào '''học theo ngữ cảnh''' (in-context learning). Đây là khi một mô hình có thể tạm thời học từ các nhắc lệnh mà nó được cung cấp. Khả năng học tập theo ngữ cảnh là một khả năng nổi bật<ref name="2022_EmergentAbilities">{{cite arXiv |last1=Wei |first1=Jason |last2=Tay |first2=Yi |last3=Bommasani |first3=Rishi |last4=Raffel |first4=Colin |last5=Zoph |first5=Barret |last6=Borgeaud |first6=Sebastian |last7=Yogatama |first7=Dani |last8=Bosma |first8=Maarten |last9=Zhou |first9=Denny |last10=Metzler |first10=Donald |last11=Chi |first11=Ed H. |last12=Hashimoto |first12=Tatsunori |last13=Vinyals |first13=Oriol |last14=Liang |first14=Percy |last15=Dean |first15=Jeff |last16=Fedus |first16=William |title=Emergent Abilities of Large Language Models |date=31 August 2022 |class=cs.CL |eprint=2206.07682| quote="In prompting, a pre-trained language model is given a prompt (e.g. a natural language instruction) of a task and completes the response without any further training or gradient updates to its parameters... The ability to perform a task via few-shot prompting is emergent when a model has random performance until a certain scale, after which performance increases to well-above random"}}</ref> của các [[mô hình ngôn ngữ lớn]]. Học tập theo ngữ cảnh cũng là một thuộc tính nổi bật của kích thước mô hình, có nghĩa là nó mạnh mẽ hơn khi mô hình lớn hơn. Nó gây ra các đứt gãy<ref>Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). [[arxiv:2210.14891|"Broken Neural Scaling Laws"]]. International Conference on Learning Representations (ICLR), 2023.</ref> trong cách các mô hình mở rộng, khi mà các mô hình lớn hơn cải thiện theo những cách mà các mô hình nhỏ hơn không thể.<ref>{{cite arXiv |last1=Wei |first1=Jason |last2=Tay |first2=Yi |last3=Bommasani |first3=Rishi |last4=Raffel |first4=Colin |last5=Zoph |first5=Barret |last6=Borgeaud |first6=Sebastian |last7=Yogatama |first7=Dani |last8=Bosma |first8=Maarten |last9=Zhou |first9=Denny |last10=Metzler |first10=Donald |last11=Chi |first11=Ed H. |last12=Hashimoto |first12=Tatsunori |last13=Vinyals |first13=Oriol |last14=Liang |first14=Percy |last15=Dean |first15=Jeff |last16=Fedus |first16=William |title=Emergent Abilities of Large Language Models |date=31 August 2022 |class=cs.CL |eprint=2206.07682 }}</ref><ref name="weipaper"/>

Trái ngược với việc huấn luyện (training) và tinh chỉnh (fine-tuning) cho từng nhiệm vụ cụ thể, vốn không mang tính tạm thời, những gì đã được học trong quá trình học theo ngữ cảnh chỉ mang tính tạm thời. Nó không mang theo các ngữ cảnh tạm thời hoặc các độ lệch (bias), ngoại trừ những cái đã có sẵn trong tập dữ liệu (tiền huấn luyện), từ cuộc trò chuyện này sang cuộc trò chuyện khác.<ref>{{chú thích web |last1=Musser |first1=George |title=How AI Knows Things No One Told It |website=[[Scientific American]] |url=https://www.scientificamerican.com/article/how-ai-knows-things-no-one-told-it/ |access-date=17 May 2023|quote="By the time you type a query into ChatGPT, the network should be fixed; unlike humans, it should not continue to learn. So it came as a surprise that LLMs do, in fact, learn from their users' prompts—an ability known as in-context learning."}}</ref> Kết quả này của "tối ưu hóa mesa"<ref>{{cite arXiv | eprint=2212.07677 | author1=Johannes von Oswald | last2=Niklasson | first2=Eyvind | last3=Randazzo | first3=Ettore | last4=Sacramento | first4=João | last5=Mordvintsev | first5=Alexander | last6=Zhmoginov | first6=Andrey | last7=Vladymyrov | first7=Max | title=Transformers learn in-context by gradient descent | year=2022 | class=cs.LG |quote="Thus we show how trained Transformers become mesa-optimizers i.e.  learn models by gradient descent in their forward pass"}}</ref><ref>{{chú thích web |title=Mesa-Optimization |date=31 May 2019 |url=https://www.alignmentforum.org/tag/mesa-optimization |access-date=17 May 2023|quote="Mesa-Optimization is the situation that occurs when a learned model (such as a neural network) is itself an optimizer."}}</ref> bên trong các lớp [[Transformer (mô hình học máy)|transformer]] là một dạng của học siêu cấp (Meta-learning) hoặc "học cách học".<ref>{{cite arXiv | eprint=2208.01066 | last1=Garg | first1=Shivam | last2=Tsipras | first2=Dimitris | last3=Liang | first3=Percy | last4=Valiant | first4=Gregory | title=What Can Transformers Learn In-Context? A Case Study of Simple Function Classes | year=2022 | class=cs.CL |quote="Training a model to perform in-context learning can be viewed as an instance of the more general learning-to-learn or meta-learning paradigm"}}</ref>

== Lịch sử ==
Năm 2018, các nhà nghiên cứu lần đầu tiên đề xuất rằng tất cả các nhiệm vụ riêng biệt trước đây trong [[Xử lý ngôn ngữ tự nhiên|NLP]], chẳng hạn như dịch máy, tóm tắt văn bản và phân tích tình huống, có thể được dồn vào một mô hình duy nhất và có thể xử lý câu trả lời theo ngữ cảnh. Ngoài ra, họ đã huấn luyện một mô hình đa nhiệm đầu tiên duy nhất để trả lời bất kỳ câu hỏi liên quan đến nhiệm vụ nào như là "Tâm trạng là gì" hoặc "Dịch câu này sang tiếng Đức" hoặc "Ai là tổng thống?"<ref>{{cite arXiv | eprint=1806.08730 | last1=McCann | first1=Bryan | last2=Shirish | first2=Nitish | last3=Xiong | first3=Caiming | last4=Socher | first4=Richard | title=The Natural Language Decathlon: Multitask Learning as Question Answering | year=2018 | class=cs.CL }}</ref>

Năm 2021, các nhà nghiên cứu đã tinh chỉnh một mô hình đã được huấn luyện trước (T0) để thực hiện 12 nhiệm vụ [[Xử lý ngôn ngữ tự nhiên|NLP]] (sử dụng 62 tập dữ liệu, vì mỗi nhiệm vụ có thể có nhiều tập dữ liệu khác nhau). Mô hình đã cho thấy hiệu suất tốt trên các nhiệm vụ mới, vượt qua các mô hình được huấn luyện trực tiếp chỉ để thực hiện một nhiệm vụ (không có huấn luyện trước). Để giải quyết một nhiệm vụ, T0 được cung cấp nhiệm vụ trong một lệnh nhắc có cấu trúc như sau, <code><nowiki>Nếu {{tiền đề}} là đúng, liệu nó cũng có đúng với {{giả thuyết}}? ||| {{hậu quả}}.</nowiki></code>, là lệnh nhắc được sử dụng để làm cho T0 giải quyết suy diễn (logical consequence).<ref>{{cite arXiv | eprint=2110.08207 | last1=Sanh | first1=Victor | last2=Webson | first2=Albert | last3=Raffel | first3=Colin | last4=Bach | first4=Stephen H. | last5=Sutawika | first5=Lintang | last6=Alyafeai | first6=Zaid | last7=Chaffin | first7=Antoine | last8=Stiegler | first8=Arnaud | author9=Teven Le Scao | last10=Raja | first10=Arun | last11=Dey | first11=Manan | author12=M Saiful Bari | last13=Xu | first13=Canwen | last14=Thakker | first14=Urmish | author15=Shanya Sharma Sharma | last16=Szczechla | first16=Eliza | last17=Kim | first17=Taewoon | last18=Chhablani | first18=Gunjan | last19=Nayak | first19=Nihal | last20=Datta | first20=Debajyoti | last21=Chang | first21=Jonathan | author22=Mike Tian-Jian Jiang | last23=Wang | first23=Han | last24=Manica | first24=Matteo | last25=Shen | first25=Sheng | author26=Zheng Xin Yong | last27=Pandey | first27=Harshit | last28=Bawden | first28=Rachel | last29=Wang | first29=Thomas | last30=Neeraj | first30=Trishala | title=Multitask Prompted Training Enables Zero-Shot Task Generalization | year=2021 | class=cs.LG | display-authors=1 }}</ref>

Một kho lưu trữ dành cho lệnh nhắc có hơn 2.000 lệnh nhắc công khai cho khoảng 170 tập dữ liệu đã có sẵn vào tháng 2 năm 2022.<ref>{{cite arXiv | eprint=2202.01279 | last1=Bach | first1=Stephen H. | last2=Sanh | first2=Victor | last3=Yong | first3=Zheng-Xin | last4=Webson | first4=Albert | last5=Raffel | first5=Colin | last6=Nayak | first6=Nihal V. | last7=Sharma | first7=Abheesht | last8=Kim | first8=Taewoon | author9=M Saiful Bari | last10=Fevry | first10=Thibault | last11=Alyafeai | first11=Zaid | last12=Dey | first12=Manan | last13=Santilli | first13=Andrea | last14=Sun | first14=Zhiqing | last15=Ben-David | first15=Srulik | last16=Xu | first16=Canwen | last17=Chhablani | first17=Gunjan | last18=Wang | first18=Han | author19=Jason Alan Fries | last20=Al-shaibani | first20=Maged S. | last21=Sharma | first21=Shanya | last22=Thakker | first22=Urmish | last23=Almubarak | first23=Khalid | last24=Tang | first24=Xiangru | last25=Radev | first25=Dragomir | author26=Mike Tian-Jian Jiang | last27=Rush | first27=Alexander M. | title=PromptSource: An Integrated Development Environment and Repository for Natural Language Prompts | year=2022 | class=cs.LG }}</ref>

Năm 2022, kỹ thuật nhắc ''chuỗi tư duy'' (chain-of-thought prompting technique) đã được các nhà nghiên cứu từ [[Google]] đề xuất.<ref name="weipaper">{{cite conference |last1=Wei |first1=Jason |last2=Wang |first2=Xuezhi |last3=Schuurmans |first3=Dale |last4=Bosma |first4=Maarten |last5=Ichter |first5=Brian |last6=Xia |first6=Fei |last7=Chi |first7=Ed H. |last8=Le |first8=Quoc V. |last9=Zhou |first9=Denny |title=Chain-of-Thought Prompting Elicits Reasoning in Large Language Models |date=31 October 2022 |arxiv=2201.11903 |language=en |conference=Advances in Neural Information Processing Systems (NeurIPS 2022) |volume=35| url=https://proceedings.neurips.cc/paper_files/paper/2022/hash/9d5609613524ecf4f15af0f7b31abca4-Abstract-Conference.html}}</ref><ref>{{chú thích web |last1=Wei |first1=Jason |last2=Zhou |title=Language Models Perform Reasoning via Chain of Thought |url=https://ai.googleblog.com/2022/05/language-models-perform-reasoning-via.html |website=ai.googleblog.com |date=11 May 2022 |access-date=10 March 2023 |language=en}}</ref>

Năm 2023, một số cơ sở dữ liệu lệnh nhắc (prompt database) từ văn bản sang văn bản và từ văn bản sang hình ảnh đã có sẵn công khai cho người dùng.<ref>{{chú thích web|url=https://www.nytimes.com/2023/06/23/technology/ai-chatbot-life-coach.html|title=How to Turn Your Chatbot Into a Life Coach|last=Chen|first=Brian X.|date=2023-06-23|access-date=|website=The New York Times}}</ref><ref>{{chú thích báo |last=Chen |first=Brian X. |date=2023-05-25 |title=Get the Best From ChatGPT With These Golden Prompts |language=en-US |work=The New York Times |url=https://www.nytimes.com/2023/05/25/technology/ai-chatbot-chatgpt-prompts.html |access-date=2023-08-16 |issn=0362-4331}}</ref>

== Văn bản thành văn bản ==
=== Chuỗi tư duy ===
''Chuỗi tư duy'' (''Chain-of-thought'' - CoT) là một kỹ thuật cho phép [[mô hình ngôn ngữ lớn]] (LLM) giải quyết một vấn đề như một chuỗi các bước trung gian<ref>{{chú thích web |last1=McAuliffe |first1=Zachary |title=Google's Latest AI Model Can Be Taught How to Solve Problems |url=https://www.cnet.com/tech/services-and-software/googles-latest-ai-model-can-be-taught-how-to-solve-problems/ |website=CNET |access-date=10 March 2023 |language=en|quote="'Chain-of-thought prompting allows us to describe multistep problems as a series of intermediate steps,' Google CEO Sundar Pichai"}}</ref> trước khi đưa ra câu trả lời cuối cùng. Kỹ thuật tạo lệnh theo chuỗi tư duy cải thiện khả năng lý luận bằng cách khiến mô hình trả lời một vấn đề bằng nhiều bước mà các bước lý luận này đều theo dòng suy nghĩ.<ref name="weipaper"/><ref>{{chú thích web |last1=McAuliffe |first1=Zachary |title=Google's Latest AI Model Can Be Taught How to Solve Problems |url=https://www.cnet.com/tech/services-and-software/googles-latest-ai-model-can-be-taught-how-to-solve-problems/ |website=CNET |access-date=10 March 2023 |language=en}}</ref><ref>{{chú thích web |url=https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html |date=2022-04-04|title= Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance |author=Sharan Narang and Aakanksha Chowdhery}}</ref> Nó cho phép các mô hình ngôn ngữ lớn vượt qua khó khăn với một số nhiệm vụ đòi hỏi lý luận logic (logical reasoning) và cần nhiều bước để giải quyết, chẳng hạn như các câu hỏi về [[toán học]] hoặc lý luận thông thường (commonsense reasoning).<ref>{{chú thích web |last1=Dang |first1=Ekta |title=Harnessing the power of GPT-3 in scientific research |url=https://venturebeat.com/ai/harnessing-the-power-of-gpt-3-in-scientific-research/ |website=VentureBeat |access-date=10 March 2023 |date=8 February 2023}}</ref><ref>{{chú thích web |last1=Montti |first1=Roger |title=Google's Chain of Thought Prompting Can Boost Today's Best Algorithms |url=https://www.searchenginejournal.com/google-chain-of-thought-prompting/450106/ |website=Search Engine Journal |access-date=10 March 2023 |language=en |date=13 May 2022}}</ref><ref>{{chú thích web |last1=Ray |first1=Tiernan |title=Amazon's Alexa scientists demonstrate bigger AI isn't always better |url=https://www.zdnet.com/article/amazons-alexa-scientists-demonstrate-bigger-ai-isnt-always-better/ |website=ZDNET |access-date=10 March 2023 |language=en}}</ref>

Ví dụ, với câu hỏi "H: Nhà ăn có 23 quả táo. Nếu họ dùng 20 quả để làm bữa trưa và mua thêm 6 quả nữa, họ còn bao nhiêu quả táo?", một lệnh nhắc CoT có thể khiến LLM trả lời "Đ: Cả nhà ban đầu có 23 quả táo. Họ đã dùng 20 quả để làm bữa trưa. Vậy họ còn 23 - 20 = 3. Họ đã mua thêm 6 quả táo nữa, vì vậy họ có 3 + 6 = 9. Câu trả lời là 9."<ref name="weipaper"/>

Như đã đề xuất ban đầu,<ref name="weipaper"/> mỗi lệnh nhắc CoT bao gồm một vài ví dụ Hỏi & Đáp. Điều này khiến nó trở thành một kỹ thuật tạo lệnh ''ít mẫu'' (few-shot). Tuy nhiên, việc chỉ cần thêm các từ "Hãy suy nghĩ từng bước một",<ref name="KojimaStepByStep">{{cite arXiv | eprint=2205.11916 | last1=Kojima | first1=Takeshi | author2=Shixiang Shane Gu | last3=Reid | first3=Machel | last4=Matsuo | first4=Yutaka | last5=Iwasawa | first5=Yusuke | title=Large Language Models are Zero-Shot Reasoners | year=2022 | class=cs.CL }}</ref> cũng đã được chứng minh là hiệu quả, vì vậy nó cũng khiến CoT trở thành một kỹ thuật tạo lệnh ''không mẫu'' (zero-shot). Điều này cho phép mở rộng tốt hơn vì người dùng không còn cần phải xây dựng nhiều ví dụ Hỏi & Đáp CoT cụ thể.<ref name="venture1">{{chú thích web |last1=Dickson |first1=Ben |title=LLMs have not learned our language — we're trying to learn theirs |url=https://venturebeat.com/ai/llms-have-not-learned-our-language-were-trying-to-learn-theirs%EF%BF%BC/ |website=VentureBeat |access-date=10 March 2023 |date=30 August 2022}}</ref>

Khi được áp dụng cho [[PaLM]], một mô hình ngôn ngữ có 540 tỷ tham số, lệnh nhắc CoT đã hỗ trợ đáng kể cho mô hình, cho phép nó hoạt động tương đương với các mô hình tinh chỉnh (fine-tuning model) theo nhiệm vụ cụ thể trên một số nhiệm vụ, đạt được kết quả hiện đại nhất vào thời điểm đó trên [[Kiểm chuẩn (máy tính)|kiểm chuẩn]] lý luận toán học GSM8K (GSM8K mathematical reasoning benchmark).<ref name="weipaper"/> Thêm vào đó, có thể tinh chỉnh các mô hình trên tập dữ liệu lý luận CoT để nâng cao khả năng này hơn nữa và kích thích khả năng diễn giải tốt hơn.<ref>{{cite arXiv |last1=Chung |first1=Hyung Won |last2=Hou |first2=Le |last3=Longpre |first3=Shayne |last4=Zoph |first4=Barret |last5=Tay |first5=Yi |last6=Fedus |first6=William |last7=Li |first7=Yunxuan |last8=Wang |first8=Xuezhi |last9=Dehghani |first9=Mostafa |last10=Brahma |first10=Siddhartha |last11=Webson |first11=Albert |last12=Gu |first12=Shixiang Shane |last13=Dai |first13=Zhuyun |last14=Suzgun |first14=Mirac |last15=Chen |first15=Xinyun |last16=Chowdhery |first16=Aakanksha |last17=Castro-Ros |first17=Alex |last18=Pellat |first18=Marie |last19=Robinson |first19=Kevin |last20=Valter |first20=Dasha |last21=Narang |first21=Sharan |last22=Mishra |first22=Gaurav |last23=Yu |first23=Adams |last24=Zhao |first24=Vincent |last25=Huang |first25=Yanping |last26=Dai |first26=Andrew |last27=Yu |first27=Hongkun |last28=Petrov |first28=Slav |last29=Chi |first29=Ed H. |last30=Dean |first30=Jeff |last31=Devlin |first31=Jacob |last32=Roberts |first32=Adam |last33=Zhou |first33=Denny |last34=Le |first34=Quoc V. |last35=Wei |first35=Jason |title=Scaling Instruction-Finetuned Language Models |date=2022 |class=cs.LG |eprint=2210.11416}}</ref><ref>{{chú thích web |last1=Wei |first1=Jason |last2=Tay |first2=Yi |title=Better Language Models Without Massive Compute |url=https://ai.googleblog.com/2022/11/better-language-models-without-massive.html |website=ai.googleblog.com |date=29 November 2022 |access-date=10 March 2023 |language=en}}</ref>

Ví dụ:<ref name="KojimaStepByStep"/>
    H: {câu hỏi}
    Đ: Hãy suy nghĩ từng bước một.

===Các kỹ thuật khác===
Kỹ thuật tạo lệnh chuỗi tư duy chỉ là một trong nhiều kỹ thuật kỹ thuật tạo lệnh. Nhiều kỹ thuật khác cũng đã được đề xuất. Ít nhất 29 kỹ thuật khác nhau đã được công bố.<ref>{{Citation |last1=Sahoo |first1=Pranab |title=A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications |date=2024-02-05 |arxiv=2402.07927 |last2=Singh |first2=Ayush Kumar |last3=Saha |first3=Sriparna |last4=Jain |first4=Vinija |last5=Mondal |first5=Samrat |last6=Chadha |first6=Aman}}</ref>

'''Lệnh nhắc chuỗi ký hiệu (CoS)'''

Lệnh nhắc chuỗi ký hiệu (Chain of Symbol - CoS) kết hợp với lệnh nhắc CoT giúp các mô hình ngôn ngữ lớn (LLM) giải quyết khó khăn trong lý luận không gian trong văn bản. Nói cách khác, việc sử dụng các ký hiệu tùy ý như ' / ' giúp LLM diễn giải khoảng cách trong văn bản. Điều này hỗ trợ trong lý luận và tăng hiệu suất của LLM.<ref name=":0">{{Citation |last1=Hu |first1=Hanxu |title=Chain-of-Symbol Prompting Elicits Planning in Large Language Models |date=2023-10-03 |arxiv=2305.10276 |last2=Lu |first2=Hongyuan |last3=Zhang |first3=Huajian |last4=Song |first4=Yun-Ze |last5=Lam |first5=Wai |last6=Zhang |first6=Yue}}</ref>

Ví dụ:<ref name=":0" />
 Đầu vào:
  
 Có một tập hợp các viên gạch. Viên gạch màu vàng C nằm trên viên gạch E. Viên gạch màu vàng D nằm trên viên gạch A. Viên gạch màu vàng E nằm trên viên gạch D. Viên gạch màu trắng A nằm trên viên gạch B. Đối với viên gạch B, màu sắc là màu trắng. Bây giờ chúng ta phải lấy một viên gạch cụ thể. Các viên gạch phải được lấy từ trên xuống dưới, và nếu viên gạch ở dưới cần được lấy, viên gạch ở trên phải được gỡ bỏ trước. Làm thế nào để lấy viên gạch D?
 
 B/A/D/E/C
 C/E
 E/D
 D
 
 Đầu ra:
 
 Vậy chúng ta có kết quả là C, E, D.

====Lệnh nhắc kiến thức được tạo ra====
''Lệnh nhắc kiến thức được tạo ra'' (Generated knowledge prompting)<ref name="LiuGeneratedKnowledge">{{chú thích tạp chí |last1=Liu |first1=Jiacheng |last2=Liu |first2=Alisa |last3=Lu |first3=Ximing |last4=Welleck |first4=Sean |last5=West |first5=Peter |last6=Le Bras |first6=Ronan |last7=Choi |first7=Yejin |last8=Hajishirzi |first8=Hannaneh |date=May 2022 |title=Generated Knowledge Prompting for Commonsense Reasoning |url=https://aclanthology.org/2022.acl-long.225 |journal=Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) |location=Dublin, Ireland |publisher=Association for Computational Linguistics |pages=3154–3169 |doi=10.18653/v1/2022.acl-long.225|s2cid=239016123 |doi-access=free |arxiv=2110.08387 }}</ref> trước tiên yêu cầu mô hình tạo ra các sự kiện liên quan để hoàn thành lệnh nhắc, sau đó tiếp tục hoàn thành lệnh nhắc. Chất lượng hoàn thành thường cao hơn, vì mô hình có thể được điều kiện hóa dựa trên các sự kiện liên quan.

Ví dụ:<ref name="LiuGeneratedKnowledge"/>
    Tạo một số kiến thức về các khái niệm trong đầu vào.
    Đầu vào: {câu hỏi}
    Kiến thức:

====Lệnh nhắc ít tới nhiều====
''Lệnh nhắc ít tới nhiều'' (Least-to-most prompting)<ref name="ZhouLeastMost">{{Cite arXiv |last1=Zhou |first1=Denny |last2=Schärli |first2=Nathanael |last3=Hou |first3=Le |last4=Wei |first4=Jason |last5=Scales |first5=Nathan |last6=Wang |first6=Xuezhi |last7=Schuurmans |first7=Dale |last8=Cui |first8=Claire |last9=Bousquet |first9=Olivier |last10=Le |first10=Quoc |last11=Chi |first11=Ed |date=2022-05-01 |title=Least-to-Most Prompting Enables Complex Reasoning in Large Language Models |class=cs.AI |eprint=2205.10625 |quote="...least-to-most prompting. The key idea in this strategy is to break down a complex problem into a series of simpler subproblems and then solve them in sequence."}}</ref> gợi ý cho mô hình liệt kê các vấn đề phụ của một vấn đề trước, sau đó giải quyết chúng theo trình tự, sao cho các vấn đề phụ sau có thể được giải quyết với sự trợ giúp từ các câu trả lời của các vấn đề phụ trước.

Ví dụ:<ref name="ZhouLeastMost"/>
    Đầu vào:
    Q: {câu hỏi}
    A: Hãy phân tích vấn đề này:
        1.

====Giải mã tự nhất quán====
''Giải mã tự nhất quán'' (Self-consistency decoding)<ref>{{cite arXiv |last1=Wang |first1=Xuezhi |last2=Wei |first2=Jason |last3=Schuurmans |first3=Dale |last4=Le |first4=Quoc |last5=Chi |first5=Ed |last6=Narang |first6=Sharan |last7=Chowdhery |first7=Aakanksha |last8=Zhou |first8=Denny |date=2022-03-01 |title=Self-Consistency Improves Chain of Thought Reasoning in Language Models |class=cs.CL |eprint=2203.11171}}</ref> thực hiện nhiều chuỗi suy nghĩ, sau đó chọn ra kết luận thường được đạt đến nhất từ tất cả các chuỗi suy nghĩ. Nếu các chuỗi suy nghĩ khác nhau quá nhiều, có thể hỏi con người để có được chuỗi suy nghĩ chính xác.<ref>{{cite arXiv |last1=Diao |first1=Shizhe |last2=Wang |first2=Pengcheng |last3=Lin |first3=Yong |last4=Zhang |first4=Tong |date=2023-02-01 |title=Active Prompting with Chain-of-Thought for Large Language Models |class=cs.CL |eprint=2302.12246 }}</ref>

====Lệnh nhắc dựa trên độ phức tạp====
''Lệnh nhắc dựa trên độ phức tạp'' (Complexity-based prompting)<ref>{{Cite arXiv |last1=Fu |first1=Yao |last2=Peng |first2=Hao |last3=Sabharwal |first3=Ashish |last4=Clark |first4=Peter |last5=Khot |first5=Tushar |date=2022-10-01 |title=Complexity-Based Prompting for Multi-Step Reasoning |class=cs.CL |eprint=2210.00720 }}</ref> thực hiện nhiều chuỗi suy nghĩ, sau đó chọn những chuỗi có chuỗi suy nghĩ dài nhất, và sau đó chọn ra kết luận thường được đạt đến nhất từ những chuỗi đó.

====Tự hoàn thiện====
Kỹ thuật ''tự hoàn thiện'' (Self-refine) <ref name="MadaanSelfRefine">{{Cite arXiv |last1=Madaan |first1=Aman |last2=Tandon |first2=Niket |last3=Gupta |first3=Prakhar |last4=Hallinan |first4=Skyler |last5=Gao |first5=Luyu |last6=Wiegreffe |first6=Sarah |last7=Alon |first7=Uri |last8=Dziri |first8=Nouha |last9=Prabhumoye |first9=Shrimai |last10=Yang |first10=Yiming |last11=Gupta |first11=Shashank |last12=Prasad Majumder |first12=Bodhisattwa |last13=Hermann |first13=Katherine |last14=Welleck |first14=Sean |last15=Yazdanbakhsh |first15=Amir |date=2023-03-01 |title=Self-Refine: Iterative Refinement with Self-Feedback |class=cs.CL |eprint=2303.17651 }}</ref> ban đầu cho LLM giải quyết vấn đề, sau đó yêu cầu LLM phê bình giải pháp của mình, rồi bảo LLM giải quyết lại vấn đề dựa trên chúng. Quá trình này được lặp lại cho đến khi dừng lại, có thể do hết token, thời gian, hoặc LLM xuất ra một token "dừng".

Ví dụ về phê bình:<ref name="MadaanSelfRefine"/>
    Tôi có một đoạn mã. Đưa ra một gợi ý để cải thiện khả năng đọc. Đừng sửa đoạn mã, chỉ cần đưa ra gợi ý.
    Đoạn mã: {mã}
    Gợi ý:

Ví dụ về tinh chỉnh:
    Đoạn mã: {mã}
    Hãy sử dụng gợi ý này để cải thiện đoạn mã.
    Gợi ý: {gợi ý}
    Đoạn mã mới:

====Cây tư duy==== 
Lệnh nhắc ''cây tư duy'' (Tree-of-thought - ToT) <ref name="LongTreeofThought">{{cite arXiv |last=Long |first=Jieyi |date=2023-05-15 |title=Large Language Model Guided Tree-of-Thought |class=cs.AI |eprint=2305.08291}}</ref> tổng quát hóa chuỗi suy nghĩ (chain-of-thought) bằng cách yêu cầu mô hình tạo ra một hoặc nhiều "bước tiếp theo có thể xảy ra", sau đó chạy mô hình trên từng bước tiếp theo có thể xảy ra tiếp sau đó bằng phương pháp [[tìm kiếm theo chiều rộng]], [[Tìm kiếm beam|beam]] (beam search), hoặc một số phương pháp tìm kiếm cây khác.<ref>{{Cite arXiv |last1=Yao |first1=Shunyu |last2=Yu |first2=Dian |last3=Zhao |first3=Jeffrey |last4=Shafran |first4=Izhak |last5=Griffiths |first5=Thomas L. |last6=Cao |first6=Yuan |last7=Narasimhan |first7=Karthik |date=2023-05-17 |title=Tree of Thoughts: Deliberate Problem Solving with Large Language Models |class=cs.CL |eprint=2305.10601 }}</ref>

====Lệnh nhắc Maieutic==== 
''Lệnh nhắc Maieutic'' tương tự như tree-of-thought. Mô hình được yêu cầu trả lời một câu hỏi kèm theo giải thích. Sau đó, mô hình tiếp tục được yêu cầu giải thích các phần của lời giải thích, và cứ thế tiếp tục. Những cây giải thích không nhất quán sẽ bị cắt bỏ hoặc loại bỏ. Điều này cải thiện hiệu suất trong việc lý luận phức tạp về kiến thức thông thường.<ref name="JungMaieutic">{{cite arXiv |last1=Jung |first1=Jaehun |last2=Qin |first2=Lianhui |last3=Welleck |first3=Sean |last4=Brahman |first4=Faeze |last5=Bhagavatula |first5=Chandra |last6=Le Bras |first6=Ronan |last7=Choi |first7=Yejin |year=2022 |title=Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations |eprint=2205.11822 |class=cs.CL}}</ref>

Ví dụ:<ref name="JungMaieutic"/> 
    Q: {câu hỏi} 
    A: Đúng, bởi vì

    Q: {câu hỏi} 
    A: Sai, bởi vì

====Lệnh nhắc kích thích định hướng==== 
''Lệnh nhắc kích thích định hướng'' (Directional-stimulus prompting)<ref name="LiPengHe">{{cite arXiv |last1=Li |first1=Zekun |last2=Peng |first2=Baolin |last3=He |first3=Pengcheng |last4=Galley |first4=Michel |last5=Gao |first5=Jianfeng |last6=Yan |first6=Xifeng |title=Guiding Large Language Models via Directional Stimulus Prompting |year=2023 |eprint=2302.11520 |class=cs.CL|quote="The directional stimulus serves as hints or cues for each input query to guide LLMs toward the desired output, such as keywords that the desired summary should include for summarization."}}</ref> bao gồm một gợi ý hoặc dấu hiệu, chẳng hạn như từ khóa mong muốn, để hướng dẫn mô hình ngôn ngữ đến đầu ra mong muốn.

Ví dụ:<ref name="LiPengHe" /> 
    Bài viết: {bài viết} 
    Từ khóa:

    Bài viết: {bài viết} 
    H: Viết một bản tóm tắt ngắn của bài viết trong 2-4 câu, chính xác bao gồm các từ khóa được cung cấp. 
    Từ khóa: {từ khóa} 
    Đ:

=== Lệnh nhắc để tiết lộ sự không chắc chắn ===
Mặc định, đầu ra của các mô hình ngôn ngữ có thể không chứa ước tính về sự không chắc chắn (uncertainty). Mô hình có thể xuất ra văn bản trông có vẻ tự tin, mặc dù dự đoán về các từ trong mô hình có ''điểm hợp lý'' (likelihood score) thấp. Các mô hình ngôn ngữ lớn như [[GPT-4]] có thể có các điểm hợp lý được hiệu chỉnh chính xác trong các dự đoán từ,<ref>{{Cite arXiv |eprint=2303.08774 |class=cs.CL |last=OpenAI |title=GPT-4 Technical Report |date=2023-03-27}} ''[See Figure 8.]''</ref> và do đó sự không chắc chắn của đầu ra mô hình có thể được ước tính trực tiếp bằng cách đọc ra các điểm hợp lý của ''dự đoán từ'' (token prediction).

Tuy nhiên, nếu không thể truy cập được các điểm này (chẳng hạn như khi truy cập mô hình qua API), sự không chắc chắn vẫn có thể được ước tính và tích hợp vào đầu ra của mô hình. Một phương pháp đơn giản là kích thích mô hình sử dụng từ ngữ để ước tính sự không chắc chắn.<ref>{{chú thích web |url=https://www.forbes.com/sites/lanceeliot/2023/08/18/latest-prompt-engineering-technique-aims-to-get-certainty-and-uncertainty-of-generative-ai-directly-on-the-table-and-out-in-the-open/ |title=Latest Prompt Engineering Technique Aims To Get Certainty And Uncertainty Of Generative AI Directly On The Table And Out In The Open |last=Eliot |first=Lance |date=2023-08-18  |publisher=[[Forbes]] |access-date=2024-08-31 |quote=If you explicitly indicate in your prompt that you want the generative AI to emit a certainty or uncertainty qualification then you will almost certainly get such an indication.}}</ref> Một phương pháp khác là kích thích mô hình từ chối trả lời nếu đầu vào không thỏa mãn các điều kiện.{{citation needed|date=June 2023}}

=== Tự động tạo lệnh nhắc ===
==== Tạo văn bản có hỗ trợ truy xuất ====
[[Tập tin:RAG schema.svg|thumb|Quy trình hai pha của việc truy xuất tài liệu sử dụng các [[vectơ từ]] (word embedding) dày đặc và mô hình Ngôn ngữ Lớn (LLM) để tạo câu trả lời]]
Tạo văn bản có hỗ trợ truy xuất (Retrieval-augmented generation - RAG) là một quy trình hai pha liên quan đến truy xuất tài liệu và tạo câu trả lời bởi một mô hình Ngôn ngữ Lớn (LLM). Giai đoạn ban đầu sử dụng các ''[[vectơ từ]]'' (word embedding) dày đặc để truy xuất tài liệu. Việc truy xuất này có thể dựa trên nhiều định dạng cơ sở dữ liệu khác nhau tùy theo trường hợp sử dụng, chẳng hạn như một cơ sở dữ liệu vector (vector database), chỉ mục tóm tắt (summary index), chỉ mục cây (tree index), hoặc bảng chỉ mục từ khóa (keyword table index).<ref>{{chú thích web |title=How Each Index Works - LlamaIndex 🦙 v0.10.17 |url=https://docs.llamaindex.ai/en/v0.10.17/module_guides/indexing/index_guide.html |access-date=2024-04-08 |website=docs.llamaindex.ai}}</ref>

Khi nhận được truy vấn, công cụ truy xuất tài liệu sẽ chọn ra các tài liệu liên quan nhất. Mức độ liên quan này thường được xác định bằng cách mã hóa cả truy vấn và các tài liệu thành các vectơ, sau đó xác định các tài liệu có vectơ gần nhất về [[khoảng cách Euclid]] so với vectơ truy vấn. Sau khi truy xuất tài liệu, LLM sẽ tạo ra một đầu ra kết hợp thông tin từ cả truy vấn và các tài liệu đã truy xuất.<ref>{{chú thích tạp chí |last1=Lewis |first1=Patrick |last2=Perez |first2=Ethan |last3=Piktus |first3=Aleksandra |last4=Petroni |first4=Fabio |last5=Karpukhin |first5=Vladimir |last6=Goyal |first6=Naman |last7=Küttler |first7=Heinrich |last8=Lewis |first8=Mike |last9=Yih |first9=Wen-tau |last10=Rocktäschel |first10=Tim |last11=Riedel |first11=Sebastian |last12=Kiela |first12=Douwe |date=2020 |title=Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks |url=https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html |journal=Advances in Neural Information Processing Systems |publisher=Curran Associates, Inc. |volume=33 |pages=9459–9474 |arxiv=2005.11401}}</ref> Phương pháp này đặc biệt hữu ích cho việc xử lý thông tin độc quyền hoặc động mà không được bao gồm trong các giai đoạn đào tạo hoặc tinh chỉnh ban đầu của mô hình. RAG cũng nổi bật với việc sử dụng "học ít mẫu", nơi mô hình sử dụng một số lượng nhỏ các ví dụ, thường được tự động truy xuất từ cơ sở dữ liệu, để định hướng cho các đầu ra của nó.

==== Truy xuất qua đồ thị tăng cường tạo sinh (Graph retrieval-augmented generation) ====

[[Tập tin:GraphRAG.svg|thumb|GraphRAG với một đồ thị tri thức (knowledge graph) kết hợp các mẫu truy cập cho dữ liệu không có cấu trúc, có cấu trúc và dữ liệu hỗn hợp.]]

GraphRAG,<ref>{{citation | date=2024 |title=GraphRAG: Unlocking LLM discovery on narrative private data |url=https://www.microsoft.com/en-us/research/blog/graphrag-unlocking-llm-discovery-on-narrative-private-data/}}</ref> được Microsoft Research tạo ra, mở rộng RAG theo cách thay vì chỉ dựa vào độ tương đồng vectơ (như trong hầu hết các phương pháp RAG), GraphRAG sử dụng đồ thị tri thức (knowledge graph) do LLM tạo ra. Đồ thị này cho phép mô hình kết nối các mẩu thông tin rời rạc, tổng hợp lại các kiến thức và hiểu một cách toàn diện các khái niệm ngữ nghĩa được tóm tắt trên các bộ dữ liệu lớn.

Các nhà nghiên cứu đã chứng minh hiệu quả của GraphRAG khi sử dụng các bộ dữ liệu như Violent Incident Information from News Articles (VIINA).<ref>{{citation | date=2024 |title=From Local to Global: A Graph RAG Approach to Query-Focused Summarization |arxiv=2404.16130 |last1=Edge |first1=Darren |last2=Trinh |first2=Ha |last3=Cheng |first3=Newman |last4=Bradley |first4=Joshua |last5=Chao |first5=Alex |last6=Mody |first6=Apurva |last7=Truitt |first7=Steven |last8=Larson |first8=Jonathan }}</ref> Bằng cách kết hợp đồ thị tri thức do LLM tạo ra với học máy trên đồ thị, GraphRAG cải thiện đáng kể cả tính toàn diện và đa dạng của các câu trả lời được tạo ra cho các câu hỏi tổng hợp theo ngữ cảnh toàn cầu.

Công việc trước đó đã chỉ ra hiệu quả của việc sử dụng một đồ thị tri thức cho việc trả lời câu hỏi bằng cách sử dụng tạo sinh truy vấn từ văn bản.<ref>{{citation | date=2023 | title=A Benchmark to Understand the Role of Knowledge Graphs on Large Language Model's Accuracy for Question Answering on Enterprise SQL Databases |arxiv=2311.07509 | last1=Sequeda | first1=Juan | last2=Allemang | first2=Dean | last3=Jacob | first3=Bryon }}</ref> Những kỹ thuật này có thể được kết hợp để thực hiện tìm kiếm trên cả dữ liệu không có cấu trúc và có cấu trúc, cung cấp ngữ cảnh mở rộng và cải thiện xếp hạng.

==== Sử dụng mô hình ngôn ngữ để tạo ra các lệnh nhắc ====
Các mô hình ngôn ngữ lớn (LLM) có thể được sử dụng để tạo ra các lệnh nhắc cho chính các mô hình ngôn ngữ lớn khác.<ref>{{chú thích tạp chí |last1=Singh |first1=Chandan |last2=Morris |first2=John |last3=Aneja |first3=Jyoti |last4=Rush |first4=Alexander |last5=Gao |first5=Jianfeng |title=Explaining Patterns in Data with Language Models via Interpretable Autoprompting |journal=arXiv |date=October 4, 2022 |url=https://arxiv.org/abs/2210.01848}}</ref><ref>{{chú thích tạp chí |last1=Fernando |first1=Chrisantha |last2=Banarse |first2=Dylan |last3=Michalewski |first3=Henryk |last4=Osindero |first4=Simon |last5=Rocktäschel |first5=Tim |date=2023 |title=Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution |arxiv=2309.16797}}</ref><ref>{{chú thích tạp chí |last1=Pryzant |first1=Reid |last2=Iter |first2=Dan |last3=Li |first3=Jerry |last4=Lee |first4=Yin Tat |last5=Zhu |first5=Chenguang |last6=Zeng |first6=Michael |date=2023 |title=Automatic Prompt Optimization with "Gradient Descent" and Beam Search |arxiv=2305.03495}}</ref><ref>{{chú thích tạp chí |last1=Guo |first1=Qingyan |last2=Wang |first2=Rui |last3=Guo |first3=Junliang |last4=Li |first4=Bei |last5=Song |first5=Kaitao |last6=Tan |first6=Xu |last7=Liu |first7=Guoqing |last8=Bian |first8=Jiang |last9=Yang |first9=Yujiu |date=2023 |title=Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers |arxiv=2309.08532}}</ref>

Thuật toán ''kỹ sư lệnh nhắc tự động'' (automatic prompt engineer algorithm) sử dụng một LLM để tìm kiếm beam (beam search) qua các lệnh nhắc cho một LLM khác:<ref>{{cite arXiv |last1=Zhou |first1=Yongchao |last2=Ioan Muresanu |first2=Andrei |last3=Han |first3=Ziwen |last4=Paster |first4=Keiran |last5=Pitis |first5=Silviu |last6=Chan |first6=Harris |last7=Ba |first7=Jimmy |date=2022-11-01 |title=Large Language Models Are Human-Level Prompt Engineers |class=cs.LG |eprint=2211.01910}}</ref>

* Có hai LLM. Một là LLM mục tiêu, và một là LLM tạo lệnh nhắc.
* LLM tạo lệnh nhắc được cung cấp các cặp ví dụ đầu vào-đầu ra, và được yêu cầu tạo ra các lệnh (instruction) mà nếu một mô hình tuân theo các lệnh đó có thể tạo ra đầu ra, dựa trên đầu vào.
* Mỗi lệnh được tạo ra sẽ được sử dụng để nhắc nhở LLM mục tiêu, sau đó là mỗi đầu vào. Logarit xác suất của các đầu ra được tính toán và cộng lại. Đây là điểm số của lệnh.
* Các lệnh có điểm số cao nhất sẽ được cung cấp cho LLM tạo lời nhắc để tạo ra các biến thể tiếp theo.
* Quá trình lặp lại cho đến khi đạt đến tiêu chí dừng, sau đó xuất ra các lệnh có điểm số cao nhất.
Ví dụ CoT có thể được tạo ra bởi chính LLM. Trong "auto-CoT",<ref>{{cite arXiv |last1=Zhang |first1=Zhuosheng |last2=Zhang |first2=Aston |last3=Li |first3=Mu |last4=Smola |first4=Alex |date=2022-10-01 |title=Automatic Chain of Thought Prompting in Large Language Models |class=cs.CL |eprint=2210.03493}}</ref> một thư viện câu hỏi được chuyển thành các vectơ bởi một mô hình như [[BERT (mô hình ngôn ngữ)|BERT]]. Các vectơ câu hỏi được [[phân tích cụm]]. Các câu hỏi gần với tâm của mỗi cụm sẽ được chọn. Một LLM thực hiện CoT zero-shot trên mỗi câu hỏi. Các ''ví dụ CoT'' kết quả sẽ được thêm vào tập dữ liệu. Khi được nhắc với một câu hỏi mới, các ví dụ CoT gần nhất với câu hỏi đó có thể được truy xuất và thêm vào lệnh nhắc.

== Văn bản thành hình ảnh ==

Vào năm 2022, các mô hình văn bản thành hình ảnh (text-to-image) như DALL-E 2, [[Stable Diffusion]], và [[Midjourney]] đã được phát hành công khai cho người dùng.<ref>{{chú thích web |last=Monge |first=Jim Clyde |date=2022-08-25 |title=Dall-E2 VS Stable Diffusion: Same Prompt, Different Results |url=https://medium.com/mlearning-ai/dall-e2-vs-stable-diffusion-same-prompt-different-results-e795c84adc56 |access-date=2022-08-31 |website=MLearning.ai |language=en}}</ref> Các mô hình này nhận các lệnh nhắc văn bản làm đầu vào và sử dụng chúng để tạo ra hình ảnh trí truệ nhân tạo (AI art). Các mô hình text-to-image thường không hiểu ngữ pháp và cấu trúc câu theo cùng cách như các [[mô hình ngôn ngữ lớn]] khác,<ref name="Prompts">{{chú thích web|url=https://docs.midjourney.com/docs/prompts|title=Prompts|access-date=2023-08-14}}</ref> vì nó yêu cầu một tập lệnh nhắc khác biệt.

=== Định dạng lệnh nhắc ===

Một lệnh nhắc text-to-image thường bao gồm mô tả về chủ đề của nghệ thuật (chẳng hạn như ''hoa anh túc màu cam sáng''), phương tiện mong muốn (chẳng hạn như ''tranh kỹ thuật số'' hoặc ''nhiếp ảnh''), phong cách (chẳng hạn như ''siêu thực'' hoặc ''pop-art''), ánh sáng (chẳng hạn như ''ánh sáng rìa'' hoặc ''tia sáng lúc hoàng hôn''), màu sắc và kết cấu.<ref>{{chú thích web|url=https://stable-diffusion-art.com/prompt-guide/|title=Stable Diffusion prompt: a definitive guide|date=2023-05-14|access-date=2023-08-14}}</ref>

Tài liệu của [[Midjourney]] khuyến khích sử dụng các lệnh nhắc ngắn gọn để mô tả, thay vì "Hãy cho tôi xem một bức tranh với nhiều hoa anh túc nở rộ ở California, làm chúng tươi sáng với màu cam rực rỡ, và vẽ chúng theo phong cách minh họa bằng bút chì màu", một lệnh hiệu quả hơn có thể là "Hoa anh túc California màu cam sáng được vẽ bằng bút chì màu".<ref name="Prompts"/>

Thứ tự từ ngữ ảnh hưởng đến kết quả của một lệnh nhắc text-to-image. Các từ nằm gần phần đầu của lệnh nhắc có thể được nhấn mạnh nhiều hơn.<ref name="diab"/>

=== Phong cách nghệ sĩ ===

Một số mô hình text-to-image có khả năng bắt chước phong cách của các nghệ sĩ cụ thể bằng cách gọi tên. Ví dụ, cụm từ ''theo phong cách Greg Rutkowski'' đã được sử dụng trong các lệnh nhắc của Stable Diffusion và Midjourney để tạo ra hình ảnh theo phong cách đặc trưng của nghệ sĩ kỹ thuật số người Ba Lan Greg Rutkowski.<ref>{{chú thích web|url=https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/|title=This Artist Is Dominating AI-Generated Art and He's Not Happy About It|last=Heikkilä|first=Melissa|date=2022-09-16|website=MIT Technology Review|access-date=2023-08-14}}</ref>

=== Lệnh nhắc phủ định ===
{{multiple image
| direction         = vertical
| align             = right
| total_width       = 200
| image1            = Algorithmically-generated landscape artwork of forest with Shinto shrine.png
| image2            = Algorithmically-generated landscape artwork of forest with Shinto shrine using negative prompt for green trees.png
| image3            = Algorithmically-generated landscape artwork of forest with Shinto shrine using negative prompt for round stones.png
| footer            = Minh họa tác động của các lệnh nhắc phủ định đối với hình ảnh được tạo bằng [[Stable Diffusion]]
{{bulleted list|'''Trên cùng''': không có lệnh nhắc phủ định
|'''Giữa''': "cây xanh"
|'''Dưới cùng''': "đá tròn"}}
}}

Các mô hình text-to-image không tự nhiên hiểu được phủ định. Lệnh nhắc "một bữa tiệc không có bánh" có khả năng tạo ra một hình ảnh bao gồm cả bánh.<ref name="Prompts"/> Thay vào đó, ''lệnh nhắc phủ định'' (negative prompt) cho phép người dùng chỉ định trong một lệnh nhắc riêng những thuật ngữ nào không nên xuất hiện trong hình ảnh kết quả.<ref>{{chú thích web|url=https://minimaxir.com/2022/11/stable-diffusion-negative-prompt/|author=Max Woolf|date=2022-11-28|access-date=2023-08-14|title=Stable Diffusion 2.0 and the Importance of Negative Prompts for Good Results}}</ref> Một phương pháp phổ biến là bao gồm các thuật ngữ không mong muốn chung như ''xấu xí, nhàm chán, giải phẫu sai'' trong lệnh nhắc phủ định cho một hình ảnh.

== Văn bản thành video ==
Văn bản thành video (text-to-video - TTV) là một công nghệ mới nổi, cho phép tạo ra video trực tiếp từ các lệnh nhắc văn bản. Lĩnh vực này có tiềm năng biến đổi việc sản xuất video, hoạt hình, và kể chuyện. Bằng cách sử dụng sức mạnh của trí tuệ nhân tạo, TTV cho phép người dùng bỏ qua các công cụ chỉnh sửa video truyền thống và chuyển đổi ý tưởng của họ thành hình ảnh động.

Các mô hình bao gồm:

* Runway Gen-2 – Cung cấp giao diện thân thiện với người dùng và hỗ trợ nhiều phong cách video khác nhau
* Lumiere – Được thiết kế cho việc tạo video độ phân giải cao<ref>{{chú thích web |title=Lumiere - Google Research |url=https://lumiere-video.github.io/ |access-date=2024-02-25 |website=Lumiere - Google Research}}</ref>
* Make-a-Video – Tập trung vào việc tạo ra các video chi tiết và đa dạng<ref>{{chú thích web |title=Introducing Make-A-Video: An AI system that generates videos from text |url=https://ai.meta.com/blog/generative-ai-text-to-video/ |access-date=2024-02-25 |website=ai.meta.com |language=en}}</ref>
* Sora của OpenAI – Chưa được phát hành, nhưng được cho là có thể tạo video độ phân giải cao<ref>{{chú thích web |title=Video generation models as world simulators |url=https://openai.com/research/video-generation-models-as-world-simulators |access-date=2024-02-25 |website=openai.com |language=en-US}}</ref><ref>{{chú thích web |last=Team |first=PromptSora |title=Understanding OpenAI's Sora: A Revolutionary Leap {{!}} PromptSora: Discover Prompts and Videos for Sora from Open AI |url=https://promptsora.com/blog/understanding-openai-sora-a-revolutionary-leap |access-date=2024-02-25 |website=PromptSora |language=en}}</ref>

== Lệnh không phải văn bản ==

Một số phương pháp tiếp cận bổ sung hoặc thay thế các lệnh văn bản tự nhiên bằng các đầu vào không phải văn bản.

=== Đảo ngược văn bản và vectơ từ ===
Đối với các mô hình chuyển văn bản thành hình ảnh, "đảo ngược văn bản" (textual inversion) <ref>{{cite arXiv |last1=Gal |first1=Rinon |last2=Alaluf |first2=Yuval |last3=Atzmon |first3=Yuval |last4=Patashnik |first4=Or |last5=Bermano |first5=Amit H. |last6=Chechik |first6=Gal |last7=Cohen-Or |first7=Daniel |title=An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion |year=2022 |class=cs.CV |eprint=2208.01618|quote="Using only 3-5 images of a user-provided concept, like an object or a style, we learn to represent it through new "words" in the embedding space of a frozen text-to-image model."}}</ref> thực hiện một quy trình tối ưu hóa để tạo ra một vectơ từ (word embedding) mới dựa trên một tập hợp các hình ảnh mẫu. Vectơ từ này hoạt động như một "pseudo-word" (từ giả) và có thể được đưa vào một lệnh nhắc để thể hiện nội dung hoặc phong cách.

=== Lệnh hình ảnh ===
Vào năm 2023, [[Meta Platforms|Meta]] đã phát hành Segment Anything, một mô hình [[thị giác máy tính]] có thể thực hiện [[phân vùng ảnh]] bằng cách sử dụng lệnh. Thay vào lệnh văn bản, Segment Anything có thể sử dụng các hộp giới hạn (bounding box), mặt nạ phân đoạn (segmatation mask), và điểm tiền cảnh/bối cảnh (foreground/background).<ref name="Kirillov">{{cite arXiv |last1=Kirillov |first1=Alexander |last2=Mintun |first2=Eric |last3=Ravi |first3=Nikhila |last4=Mao |first4=Hanzi |last5=Rolland |first5=Chloe |last6=Gustafson |first6=Laura |last7=Xiao |first7=Tete |last8=Whitehead |first8=Spencer |last9=Berg |first9=Alexander C. |last10=Lo |first10=Wan-Yen |last11=Dollár |first11=Piotr |last12=Girshick |first12=Ross |date=2023-04-01 |title=Segment Anything |class=cs.CV |eprint=2304.02643}}</ref>

=== Sử dụng suy giảm độ dốc để tìm kiếm lệnh ===
Trong "prefix-tuning",<ref>{{chú thích sách | doi=10.18653/V1/2021.ACL-LONG.353 | chapter=Prefix-Tuning: Optimizing Continuous Prompts for Generation | title=Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) | year=2021 | last1=Li | first1=Xiang Lisa | last2=Liang |first2=Percy | pages=4582–4597 | s2cid=230433941|quote="In this paper, we propose prefix-tuning, a lightweight alternative to fine-tuning... Prefix-tuning draws inspiration from prompting"}}</ref> "prompt tuning" hoặc "soft prompting",<ref>{{chú thích sách | doi=10.18653/V1/2021.EMNLP-MAIN.243 | chapter=The Power of Scale for Parameter-Efficient Prompt Tuning | title=Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing | year=2021 | last1=Lester | first1=Brian | last2=Al-Rfou | first2=Rami | last3=Constant | first3=Noah | pages=3045–3059 | s2cid=233296808 |arxiv=2104.08691|quote="In this work, we explore "prompt tuning," a simple yet effective mechanism for learning "soft prompts"...Unlike the discrete text prompts used by GPT-3, soft prompts are learned through back-propagation"}}</ref> các vectơ giá trị số thực (floating-point-valued vector) được tìm kiếm trực tiếp bằng [[suy giảm độ dốc]] (gradient descent) để tối đa hóa xác suất logarith hàm hợp lý (log-likelihood) trên các đầu ra.

Về mặt hình thức, hãy để <math>\mathbf{E} = \{\mathbf{e_1}, \dots, \mathbf{e_k}\}</math> là một tập hợp các token lệnh mềm (embedding có thể điều chỉnh), trong khi <math>\mathbf{X} = \{\mathbf{x_1}, \dots, \mathbf{x_m}\}</math> và <math>\mathbf{Y} = \{\mathbf{y_1}, \dots, \mathbf{y_n}\}</math> là các token embedding của đầu vào và đầu ra tương ứng. Trong quá trình huấn luyện, các embedding có thể điều chỉnh, đầu vào, và các token đầu ra được nối thành một chuỗi duy nhất <math>\text{concat}(\mathbf{E};\mathbf{X};\mathbf{Y})</math> và đưa vào các mô hình ngôn ngữ lớn (LLM). Các [[hàm mất mát]] được tính trên các token <math>\mathbf{Y}</math>; các gradient được [[truyền ngược]] đến các tham số riêng của lệnh: trong prefix-tuning, chúng là các tham số liên quan đến các token lệnh ở mỗi lớp; trong prompt tuning, chúng chỉ là các token mềm được thêm vào từ vựng.<ref>{{Cite arXiv |title=How Does In-Context Learning Help Prompt Tuning?|eprint= 2302.11521|last1= Sun|first1= Simeng|last2= Liu|first2= Yang|last3= Iter|first3= Dan|last4= Zhu|first4= Chenguang|last5= Iyyer|first5= Mohit|year= 2023|class= cs.CL}}</ref>

Về mặt hình thức hơn, đây là prompt tuning. Hãy để một LLM được viết là <math>LLM(X) = F(E(X)) </math>, trong đó <math>X</math> là một chuỗi các token ngôn ngữ, <math>E</math> là hàm chuyển token thành vectơ, và <math>F</math> là phần còn lại của mô hình. Trong prefix-tuning, ta cung cấp một tập hợp các cặp đầu vào-đầu ra <math>\{(X^i, Y^i)\}_i</math>, sau đó sử dụng suy giảm độ dốc để tìm kiếm <math>\arg\max_{\tilde Z} \sum_i \log Pr[Y^i | \tilde Z \ast E(X^i)]</math>. Nói cách khác, <math>\log Pr[Y^i | \tilde Z \ast E(X^i)]</math> là xác suất logarith hàm hợp lý (log-likelihood) của việc xuất ra <math>Y^i</math>, nếu mô hình trước tiên mã hóa đầu vào <math>X^i</math> thành vectơ <math>E(X^i)</math>, sau đó tiền tố vectơ với ''tiền vectơ'' (prefix vector) <math>\tilde Z</math>, rồi áp dụng <math>F</math>.

Đối với prefix tuning, nó tương tự, nhưng ''tiền vectơ'' <math>\tilde Z</math> được chèn vào các trạng thái ẩn trong mỗi lớp của mô hình.

Kết quả trước đó<ref>{{chú thích sách |last1=Shin |first1=Taylor |last2=Razeghi |first2=Yasaman |last3=Logan IV |first3=Robert L. |last4=Wallace |first4=Eric |last5=Singh |first5=Sameer |title=Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) |chapter=AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts |date=November 2020 |chapter-url=https://aclanthology.org/2020.emnlp-main.346 |location=Online |publisher=Association for Computational Linguistics |pages=4222–4235 |doi=10.18653/v1/2020.emnlp-main.346|s2cid=226222232 |doi-access=free }}</ref> sử dụng cùng ý tưởng tìm kiếm suy giảm độ dốc, nhưng được thiết kế cho các mô hình ngôn ngữ bị che như BERT, và chỉ tìm kiếm trên các chuỗi token, thay vì các vectơ số học. Về mặt hình thức, nó tìm kiếm <math>\arg\max_{\tilde X} \sum_i \log Pr[Y^i | \tilde X \ast X^i]</math> trong đó <math>\tilde X</math> được giới hạn trong các chuỗi token có độ dài nhất định.

== Tiêm lệnh nhắc ==
{{xem thêm|SQL injection}}

''Tiêm lệnh nhắc'' (Prompt injection) là một phương pháp khai thác lợi dụng kẽ hở của [[Khai thác (an ninh máy tính)|khai thác bảo mật máy tính]] được thực hiện bằng cách khiến một mô hình [[học máy]] (chẳng hạn như một LLM được huấn luyện để tuân theo các chỉ dẫn do con người cung cấp) phải tuân theo các chỉ dẫn được cung cấp bởi người dùng độc hại. Điều này trái ngược với hoạt động dự định của các hệ thống tuân theo chỉ dẫn, trong đó mô hình học máy được dự định chỉ tuân theo các chỉ dẫn đáng tin cậy (lệnh nhắc) do người điều hành mô hình học máy cung cấp.<ref>{{chú thích web |last=Willison |first=Simon |date=12 September 2022 |title=Prompt injection attacks against GPT-3 |url=http://simonwillison.net/2022/Sep/12/prompt-injection/ |access-date=2023-02-09 |website=simonwillison.net |language=en-gb}}</ref><ref>{{chú thích web |last=Papp |first=Donald |date=2022-09-17 |title=What's Old Is New Again: GPT-3 Prompt Injection Attack Affects AI |url=https://hackaday.com/2022/09/16/whats-old-is-new-again-gpt-3-prompt-injection-attack-affects-ai/ |access-date=2023-02-09 |website=Hackaday |language=en-US}}</ref><ref>{{chú thích web |last=Vigliarolo |first=Brandon |date=19 September 2022 |title=GPT-3 'prompt injection' attack causes bot bad manners |url=https://www.theregister.com/2022/09/19/in_brief_security/ |access-date=2023-02-09 |website=www.theregister.com |language=en}}</ref>

== Xem thêm ==
* [[Tấn công phi kỹ thuật]]

== Tham khảo ==
{{tham khảo|30em}}

{{Trí tuệ nhân tạo tạo sinh}}
{{Điện toán khả vi}}

[[Thể loại:Học sâu]]
[[Thể loại:Học máy]]
[[Thể loại:Xử lý ngôn ngữ tự nhiên]]
[[Thể loại:Học không có giám sát]]
[[Thể loại:Ngôn ngữ học]]
[[Thể loại:Trí tuệ nhân tạo tạo sinh]]