隨著 AI 應(yīng)用在商業(yè)領(lǐng)域的滲透及普及，電商 B 端商家經(jīng)營及商家運(yùn)營場景也進(jìn)入了百花齊放的階段，帶來了前所未有的變化與機(jī)遇。
在 InfoQ 舉辦的 AICon 全球人工智能與開發(fā)大會上快手電商運(yùn)營平臺 / 研發(fā)負(fù)責(zé)人袁首超為我們帶來了精彩專題演講“大模型在電商 B 端的應(yīng)用實(shí)踐”，分享將從快手電商 B 端實(shí)際業(yè)務(wù)場景出發(fā)，結(jié)合真實(shí)線上應(yīng)用案例 (規(guī)模化運(yùn)營、運(yùn)營提效等)，講述大模型在快手電商 B 端應(yīng)用的技術(shù)方案，如何通過技術(shù)架構(gòu)建設(shè)，實(shí)現(xiàn)大模型應(yīng)用的快速交付并兼顧各場景差異化的訴求；并通過體系化技術(shù)建設(shè)，實(shí)現(xiàn)大模型從模型到應(yīng)用層面的準(zhǔn)確度提升；其次也會從實(shí)際生產(chǎn)出發(fā)，分享針對大模型應(yīng)用場景差異化的穩(wěn)定性保障手段能力。最后結(jié)合業(yè)務(wù)應(yīng)用情況，分享未來電商技術(shù)大模型應(yīng)用技術(shù)的未來發(fā)展方向及展望。
內(nèi)容亮點(diǎn)：
了解快手電商 B 端在大模型應(yīng)用上的實(shí)踐經(jīng)驗(yàn)
了解大模型應(yīng)用前沿技術(shù)及案例
了解前沿技術(shù)如何與業(yè)務(wù)結(jié)合的實(shí)踐及思考
以下是演講實(shí)錄（經(jīng) InfoQ 進(jìn)行不改變原意的編輯整理）。
B 端大模型應(yīng)用建設(shè)背景
在電商領(lǐng)域，從角色和核心領(lǐng)域相互關(guān)系來看，除了日常接觸較多的消費(fèi)者，電商的絕大部分參與角色都在 B 端，像在平臺賣貨賺錢的商家、達(dá)人，還有類似公司機(jī)構(gòu)的服務(wù)商、MCN 機(jī)構(gòu)、ISV 等。從平臺視角，運(yùn)營角色也很多，除了常見的產(chǎn)運(yùn)、用戶運(yùn)營，電商行業(yè)還有商家運(yùn)營，直播電商場景下還有達(dá)人運(yùn)營。這些眾多角色相互合作、聯(lián)系，結(jié)合一些領(lǐng)域共同構(gòu)成了復(fù)雜的電商生態(tài)。
從 B 端視角來看，商家從入駐開始，到賣貨、發(fā)品、交易、履約，再到最后結(jié)算、清退，整個(gè)過程中要處理大量流程，涉及眾多領(lǐng)域，還會與達(dá)人、服務(wù)商、MCN 等產(chǎn)生合作與聯(lián)系。我們統(tǒng)計(jì)發(fā)現(xiàn)，B 端給商家的 PC 端工作臺頁面大概有 200 多個(gè)，商家若想經(jīng)營得好，至少要了解一兩百個(gè)產(chǎn)品功能。尤其在直播電商場景下，新引入的內(nèi)容場域是主要交易載體，內(nèi)容生產(chǎn)給商家的經(jīng)營成本和經(jīng)營門檻帶來了較大挑戰(zhàn)。
從運(yùn)營端來看，電商大促是主要業(yè)務(wù)流程，每次大促 基本全員參與，且涉及較多外部協(xié)作，如與商業(yè)化、主站體驗(yàn)等協(xié)作，同時(shí)還會用到眾多產(chǎn)品功能，包括協(xié)作團(tuán)隊(duì)的產(chǎn)品功能。 現(xiàn)在電商環(huán)境競爭激烈，大促日?；?，運(yùn)營同學(xué)或小二工作狀態(tài)繁瑣，除了大促還要處理其他專項(xiàng)或業(yè)務(wù)流程。
直播電商 B 端的業(yè)務(wù)場景挑戰(zhàn)如下：
場景多樣性 ：平臺內(nèi)包含商家、團(tuán)長、達(dá)人共計(jì) 10 余種角色，形成上百種業(yè)務(wù)組合，涉及到的業(yè)務(wù)環(huán)境也越來越多。
業(yè)務(wù)復(fù)雜度高 ：平臺內(nèi)商家、達(dá)人、場景落地復(fù)雜的商業(yè)模式，每個(gè)場景都環(huán)環(huán)相扣，單一解決方案難以應(yīng)對。
內(nèi)容創(chuàng)作要求高 ：與傳統(tǒng)貨架電商相比，內(nèi)容生產(chǎn)對商家經(jīng)營的重要性越來越高，整體成本投入也越來越大。
運(yùn)營復(fù)雜度高 ：除了基本的客情維護(hù)、商品、履約之外，還需要掌握比較多的運(yùn)營診斷、政策動向等，以便更好地吸引商家。
B 端大模型的技術(shù)實(shí)踐
電商大模型基座建設(shè)
在重構(gòu)電商 B 端的過程中，我們的主要思路集中在三個(gè)方面：通用性、效率和可靠性。
通用性是我們建設(shè)大模型能力的核心，我們希望這個(gè)能力能夠適配電商 B 端的各個(gè)業(yè)務(wù)場景，并解決相應(yīng)的問題。從行業(yè)角度來看，大約從 2020 年開始，大模型進(jìn)入了快速發(fā)展階段，無論是國外的 OpenAI、谷歌、Meta，還是國內(nèi)的阿里、百度、字節(jié)等公司，都在積極發(fā)展。國內(nèi)生成式大模型的數(shù)量已經(jīng)達(dá)到了 1900 多個(gè)。
然而，通用大模型在解決行業(yè)專業(yè)問題時(shí)，由于領(lǐng)域知識的局限性，往往難以很好地解決一些相對專業(yè)的問題。因此，各行各業(yè)開始建設(shè)自己的大模型，如醫(yī)療、汽車、金融等，電商 B 端的大模型也是按照這個(gè)思路建設(shè)的垂直大模型。
在建設(shè)大模型時(shí)，我們會遇到一些電商特有的典型問題。以商品為例，我們面臨兩個(gè)相對典型的問題。第一個(gè)是關(guān)于商品理解的問題，我們需要對商品有深入的理解，并生成相應(yīng)的標(biāo)簽，這些標(biāo)簽將用于各種場域的分發(fā)、推薦或商達(dá)撮合過程中。然而，傳統(tǒng)小模型存在局限性，只能生成預(yù)設(shè)的標(biāo)簽，無法挖掘出更細(xì)粒度的信息。
通用大模型雖然能挖掘更多信息，但生成的內(nèi)容相對隨意，可能不適用于推薦或分發(fā)場域。我們更期望的是能夠識別出商品的具體屬性和適用場景，如法式女帽適合夏天海邊出游，以便在用戶搜索時(shí)直接推薦。第二個(gè)挑戰(zhàn)是商品文案的生成。
在內(nèi)容場域，除了商詳頁的文案外，我們還需要生成大量的臺本，即主播在直播間介紹商品時(shí)的稿子。我們希望生成的文案自然流暢，能夠讓主播直接在直播間使用。傳統(tǒng)小模型可能只能進(jìn)行圖像識別和文案提取，生成的內(nèi)容生硬且無法使用。通用大模型雖然能生成流暢的文案，但可能會出現(xiàn)嚴(yán)重的事實(shí)錯誤，這在直播電商中可能導(dǎo)致虛假宣傳問題，甚至可能導(dǎo)致封號。
針對商品理解和電商創(chuàng)作事實(shí)性問題，我們采取了相應(yīng)的應(yīng)對措施。對于提高商品理解能力的問題，我們引入了生成和理解聯(lián)合建模的大模型訓(xùn)練方法。在訓(xùn)練過程中，我們不僅保留了大模型的開放性生成能力，還結(jié)合了多種多維的電商理解任務(wù)進(jìn)行聯(lián)合建模。
這樣，大模型在進(jìn)行商品理解時(shí)，能夠明確從哪些維度去分析商品，例如風(fēng)格、同類目、同品牌等。對于電商創(chuàng)作中的事實(shí)性問題，我們主要采用了基于課程學(xué)習(xí)的多粒度知識注入范式。通過這種方法，大模型能夠?qū)W習(xí)從簡單到復(fù)雜的多層級電商領(lǐng)域知識。
在這個(gè)過程中，我們積累了超過 1 億的基礎(chǔ)數(shù)據(jù)，并在進(jìn)行推斷理解時(shí)，結(jié)合了超過 1000 萬的知識圖譜來確保生成內(nèi)容的準(zhǔn)確性和可靠性。
電商 B 端大模型基座建設(shè)由四個(gè)層次構(gòu)成，最上層的應(yīng)用層直接面向用戶，提供具體的 AI 應(yīng)用解決方案，包括電商商品理解、電商創(chuàng)作工具和電商對話助手。
這些解決方案利用大模型的能力，旨在提升電商業(yè)務(wù)的效率和效果。在應(yīng)用層之下是能力層，它提供細(xì)粒度理解、可控生成和智能體交互等多方向的大模型能力，為應(yīng)用層提供支持。
再往下是方案層，它基于電商 B 端的業(yè)務(wù)場景沉淀了通用的解決方案，如數(shù)據(jù)解決方案、算法解決方案和評估解決方案。最底層是架構(gòu)層，負(fù)責(zé)高性能大模型基礎(chǔ)建設(shè)，包括訓(xùn)練、推理、評估等環(huán)節(jié)，以及 ROCE 多軌網(wǎng)絡(luò)、混合并行、計(jì)算優(yōu)化等技術(shù)。這四個(gè)層次相互協(xié)作，共同構(gòu)建了一個(gè)全面、高效、可靠的技術(shù)支持體系，以滿足電商 B 端的業(yè)務(wù)需求。
大模型工程體系建設(shè)
開發(fā)引擎
在大模型工程體系建設(shè)方面，我們面臨的挑戰(zhàn)是如何將算法有效地應(yīng)用于實(shí)際業(yè)務(wù)中，開發(fā)出供用戶使用的產(chǎn)品功能。我們的場景非常多樣，多達(dá) 20 多個(gè)，我們從中篩選出了 P0 階段的業(yè)務(wù)場景。
然而，我們的工程開發(fā)團(tuán)隊(duì)在大模型開發(fā)方面缺乏經(jīng)驗(yàn)，從熟悉到搭建一個(gè)簡單的大模型應(yīng)用可能需要十幾天，這對于我們眾多的場景來說是不可接受的。因此，構(gòu)建一個(gè)高效且低成本的技術(shù)體系來支撐業(yè)務(wù)場景是我們的首要任務(wù)。
我們的技術(shù)體系建設(shè)思路與行業(yè)大致相同，從基礎(chǔ)的大模型能力開始，如提示詞、工具調(diào)用，最終形成一個(gè)垂直領(lǐng)域的 Agent 來解決復(fù)雜場景。我們通過垂直領(lǐng)域的 Agent 組合來解決一些非常復(fù)雜的業(yè)務(wù)場景。
我們的基礎(chǔ)能力建設(shè)，即工具鏈部分，包括開發(fā)框架的建設(shè)，我們將其定位為大模型領(lǐng)域的 Spring 框架。我們希望通過它降低普通工程研發(fā)的開發(fā)門檻，使他們只需編寫幾行代碼或進(jìn)行配置化操作，就能實(shí)現(xiàn)大模型應(yīng)用。除了集成基礎(chǔ)能力，我們還從三個(gè)維度進(jìn)行建設(shè)：擴(kuò)展性、易接入和協(xié)作模式。
在擴(kuò)展性方面，我們保留了很好的擴(kuò)展性來支撐各種差異化場景的定制，提供了 9 種擴(kuò)展點(diǎn)，每種擴(kuò)展點(diǎn)內(nèi)置一到兩個(gè)默認(rèn)方案，共有 20 多個(gè)默認(rèn)方案，如知識庫、繪畫等，都是可配置的，用戶可以基于這些實(shí)現(xiàn)自己的擴(kuò)展。
在易接入方面，我們建設(shè)了一個(gè)領(lǐng)域能力市場，與公司的服務(wù)發(fā)現(xiàn)能力打通，只需簡單配置即可注冊到領(lǐng)域能力市場，并直接被引擎使用。
在協(xié)作模式方面，由于涉及眾多業(yè)務(wù)場景和研發(fā)團(tuán)隊(duì)，我們采用開源方式推進(jìn)，建立了一個(gè) git 倉庫，任何人都可以使用這個(gè)倉庫，實(shí)現(xiàn)自己的擴(kuò)展，并將迭代增量建設(shè)的能力貢獻(xiàn)回代碼倉庫，實(shí)現(xiàn)能力的升級。這種模式不僅在電商 B 端有用，也影響了電商事業(yè)部之外的團(tuán)隊(duì)，如本地和商業(yè)化團(tuán)隊(duì)。
Agent 平臺
在大模型工程體系建設(shè)中，我們不僅開發(fā)了框架，還進(jìn)一步推出了 Agent 平臺，以實(shí)現(xiàn)更高效的應(yīng)用交付。我們的 Agent 平臺名為“千機(jī)”，其定位是實(shí)現(xiàn)無代碼配置化交付大模型應(yīng)用。
千機(jī)平臺主要針對三類場景：一是典型的通用場景，如會話助手，用戶無需自行開發(fā)，通過配置即可使用；二是小流量場景，這些場景不需要單獨(dú)的服務(wù)，可以通過配置化快速部署；三是快速驗(yàn)證和試點(diǎn)場景，用戶可以配置化嘗試，以評估效果。我們希望將大模型交付從研發(fā)擴(kuò)展到產(chǎn)運(yùn)，使產(chǎn)運(yùn)人員能夠自行配置和迭代大模型應(yīng)用。千機(jī)平臺的主要增量建設(shè)包括租戶隔離、模型切換和實(shí)時(shí)反饋等運(yùn)營向能力。
RAG
在建設(shè)工程體系框架的過程中，我們也遇到了一些典型問題，如 RAG。RAG 是所有大模型應(yīng)用都無法避免的挑戰(zhàn)，我們在智能助手中深度使用 RAG，并通過離線和在線兩套流程進(jìn)行優(yōu)化。
離線流程中，我們優(yōu)化了 Embedding 算法，并構(gòu)建了向量索引和倒排索引，同時(shí)定期將知識庫和聊天記錄輸入大模型進(jìn)行微調(diào)。在線流程中，除了傳統(tǒng)的 Query 改寫，我們還使用了多路召回能力，進(jìn)行精準(zhǔn)匹配、模糊匹配和向量匹配，最終進(jìn)行重排，將知識交給大模型進(jìn)行文案優(yōu)化輸出。
以智能客服場景為例，通過這套體系，我們的準(zhǔn)確率提升了大約 17%。如果將這一提升折算成商家經(jīng)營成本，我們每天可以為商家降低幾十萬到一百萬左右的經(jīng)營成本。