GPT-4o图像生成的「核燃料」找到了！万字长文拆解潜在变量
閫夎嚜Sander Dieleman鍗氬�
鏈哄櫒涔嬪績缂栬瘧
缂栬緫锛氬垬娆�
涓婁釜鏈堬紝 GPT-4o 鐨勫浘鍍忕敓鎴愬姛鑳界垎鐏�紝鎺€璧蜂簡浠ュ悏鍗滃姏椋庝负浠ｈ〃鐨勫箍娉涜�璁猴紝鐢熸垚寮� AI 鐨勭儹娼�啀娆″腑鍗风綉缁溿€�
鑰屽湪杩欒偂娴�疆鑳屽悗锛屾綔鍦ㄧ┖闂达紙Latent Space锛変綔涓虹敓鎴愭ā鍨嬬殑鏍稿績椹卞姩鍔涳紝鐐圭噧浜嗗浘鍍忎笌瑙嗛�鍒涗綔鐨勬棤闄愭兂璞°€�
鐭ュ悕鐮旂┒鑰� Andrej Karpathy 鏈€杩戣浆鍙戜簡涓€绡囨潵鑷� Google DeepMind 鐮旂┒绉戝�瀹� Sander Dielman 鐨勫崥瀹㈡枃绔狅紝鎺㈣�浜嗙敓鎴愭ā鍨嬶紙濡傚浘鍍忋€侀煶棰戝拰瑙嗛�鐢熸垚妯″瀷锛夊�浣曢€氳繃鍒╃敤娼滃湪绌洪棿鏉ユ彁楂樼敓鎴愭晥鐜囧拰璐ㄩ噺銆�
鍗氬�閾炬帴锛歨ttps://sander.ai/2025/04/15/latents.html
Sander Dielman 鑷� 2015 骞村姞鍏� DeepMind 浠ユ潵锛屽弬涓庝簡鍖呮嫭 WaveNet銆丄lphaGo銆両magen 3 鍜� Veo 鍦ㄥ唴鐨勫�涓�」鐩�紝娑电洊娣卞害瀛︿範銆佺敓鎴愭ā鍨嬪強琛ㄥ緛瀛︿範锛圧epresentation Learning锛夈€�
鍦ㄨ繖绡囨枃绔犱腑锛屼粬灏嗘綔鍦ㄥ彉閲忔瘮鍠讳负銆屾暟鎹�殑绮鹃珦銆嶁€斺€� 閫氳繃鍘嬬缉澶嶆潅淇℃伅瀹炵幇鍥惧儚銆佽�闊崇瓑鐢熸垚銆備粬杩樻繁鍏ュ�姣斿彉鍒嗚嚜缂栫爜鍣�紙VAEs锛夈€佺敓鎴愬�鎶楃綉缁滐紙GANs锛夊拰鎵╂暎妯″瀷锛屽睍绀轰簡娼滃湪鍙橀噺濡備綍鏀�寔杩欎簺妯″瀷鐢熸垚閫肩湡鍐呭�銆�
渚嬪�锛孌ielman 鍙備笌寮€鍙戠殑 WaveNet 灏卞埄鐢ㄦ綔鍦ㄥ彉閲忔垚鍔熷疄鐜颁簡楂樿川閲忚�闊冲悎鎴愶紝骞跺湪璋锋瓕澶氫釜浜у搧涓�緱鍒板箍娉涘簲鐢ㄣ€備粬杩樹互 VQ-VAE 涓轰緥锛岃�鏄庣�鏁ｆ綔鍦ㄧ┖闂村�浣曟彁鍗囧浘鍍忕敓鎴愭晥鐜囥€�
杩欑瘒鏂囩珷鍏煎叿鐞嗚�娣卞害涓庣洿瑙傛礊瀵燂紝閫傚悎瀵圭敓鎴愭ā鍨嬫劅鍏磋叮鐨勮�鑰呮繁鍏ョ爺绌躲€�
閰嶆柟
鍦ㄦ綔鍦ㄧ┖闂翠腑璁�粌鐢熸垚妯″瀷閫氬父鍒嗕负涓や釜闃舵�锛�
1. 鐢ㄨ緭鍏ヤ俊鍙疯�缁冭嚜缂栫爜鍣ㄣ€傝嚜缂栫爜鍣ㄦ槸涓€涓��缁忕綉缁滐紝鍖呭惈涓や釜瀛愮綉缁滐細缂栫爜鍣ㄥ拰瑙ｇ爜鍣ㄣ€傜紪鐮佸櫒灏嗚緭鍏ヤ俊鍙锋槧灏勫埌鐩稿簲鐨勬綔鍦ㄨ〃寰侊紙缂栫爜锛夛紝瑙ｇ爜鍣ㄥ垯灏嗘綔鍦ㄨ〃寰佹槧灏勫洖杈撳叆鍩燂紙瑙ｇ爜锛夈€�
2. 鍦ㄦ綔鍦ㄨ〃寰佷笂璁�粌鐢熸垚妯″瀷銆傝繖涓€姝ラ�娑夊強浣跨敤绗�竴闃舵�鐨勭紪鐮佸櫒鏉ユ彁鍙栬�缁冩暟鎹�殑娼滃湪琛ㄥ緛锛岀劧鍚庣洿鎺ュ湪杩欎簺娼滃湪琛ㄥ緛涓婅�缁冪敓鎴愭ā鍨嬨€傚綋鍓嶄富娴佺殑鐢熸垚妯″瀷閫氬父鏄�嚜鍥炲綊妯″瀷鎴栨墿鏁ｆā鍨嬨€�
涓€鏃︾�涓€闃舵�璁�粌濂戒簡鑷�紪鐮佸櫒锛屽湪绗�簩闃舵�鍏跺弬鏁板皢涓嶅啀鏀瑰彉锛氬�涔犺繃绋嬬�浜岄樁娈电殑姊�害涓嶄細鍙嶅悜浼犳挱鍒扮紪鐮佸櫒涓�€傛崲鍙ヨ瘽璇达紝鍦ㄧ�浜岄樁娈碉紝缂栫爜鍣ㄧ殑鍙傛暟浼氳�鍐荤粨銆�
璇锋敞鎰忥紝鍦ㄨ�缁冪殑绗�簩闃舵�锛岃嚜缂栫爜鍣ㄧ殑瑙ｇ爜鍣ㄩ儴鍒嗕笉鍙戞尌浣滅敤锛屼絾鍦ㄤ粠鐢熸垚妯″瀷閲囨牱鏃堕渶瑕佺敤鍒板畠锛屽洜涓鸿繖灏嗙敓鎴愭綔鍦ㄧ┖闂翠腑鐨勮緭鍑恒€傝В鐮佸櫒浣挎垜浠�兘澶熷皢鐢熸垚鐨勬綔鍦ㄥ悜閲忔槧灏勫洖鍘熷�杈撳叆绌洪棿銆�
涓嬮潰鏄��鏄庤繖绉嶄袱闃舵�璁�粌鏂规硶鐨勭ず鎰忓浘銆傚湪鐩稿簲闃舵�瀛︿範鍙傛暟鐨勭綉缁滄爣鏈� 銆屸垏銆� 绗﹀彿锛屽洜涓鸿繖鍑犱箮鎬绘槸浣跨敤鍩轰簬姊�害鐨勫�涔犳柟娉曘€傚弬鏁拌�鍐荤粨鐨勭綉缁滄爣鏈夐洩鑺辩�鍙枫€�
娼滃湪鐢熸垚妯″瀷鐨勮�缁冩柟娉曪細涓ら樁娈佃�缁冦€�
鍦ㄤ袱涓��缁冮樁娈典腑娑夊強鍑犵�涓嶅悓鐨勬崯澶卞嚱鏁帮紝杩欏湪鍥句腑浠ョ孩鑹叉爣鍑猴細
涓虹‘淇濈紪鐮佸櫒鍜岃В鐮佸櫒鑳藉�楂樹繚鐪熷湴灏嗚緭鍏ヨ〃寰佽浆鎹�负娼滃湪鍚戦噺鍐嶈浆鎹㈠洖鏉ワ紝澶氫釜鎹熷け鍑芥暟鐢ㄤ簬绾︽潫閲嶅缓锛堣В鐮佸櫒杈撳嚭锛変笌杈撳叆鐨勫叧绯汇€傝繖浜涢€氬父鍖呮嫭绠€鍗曠殑鍥炲綊鎹熷け銆佹劅鐭ユ崯澶卞拰瀵规姉鎹熷け銆備负浜嗛檺鍒舵綔鍦ㄥ悜閲忕殑瀹归噺锛屽湪璁�粌鏈熼棿閫氬父浼氱洿鎺ュ�瀹冧滑搴旂敤棰濆�鐨勬崯澶卞嚱鏁帮紝灏界�骞堕潪鎬绘槸濡傛�銆傛垜浠�皢姝ょО涓虹摱棰堟崯澶憋紝鍥犱负娼滃湪琛ㄥ緛鍦ㄨ嚜缂栫爜鍣ㄧ綉缁滀腑褰㈡垚浜嗕竴涓�摱棰堛€傚湪绗�簩闃舵�锛岀敓鎴愭ā鍨嬩娇鐢ㄥ叾鑷�韩鐨勬崯澶卞嚱鏁拌繘琛岃�缁冿紝杩欎笌绗�竴闃舵�浣跨敤鐨勬崯澶卞嚱鏁板垎寮€銆傝繖閫氬父鏄�礋瀵规暟浼肩劧鎹熷け锛堢敤浜庤嚜鍥炲綊妯″瀷锛夋垨鎵╂暎鎹熷け銆�
娣卞叆瑙傚療鍩轰簬閲嶅缓鐨勬崯澶卞嚱鏁帮紝鎴戜滑鏈変互涓嬪嚑绉嶏細
鍥炲綊鎹熷け锛氭湁鏃舵槸鍦ㄨ緭鍏ョ┖闂达紙渚嬪�鍍忕礌绌洪棿锛変腑娴嬮噺鐨勫钩鍧囩粷瀵硅�宸�紙MAE锛夛紝浣嗘洿甯歌�鐨勬槸鍧囨柟璇�樊锛圡SE锛夈€傛劅鐭ユ崯澶憋細褰㈠紡澶氭牱锛屼絾閫氬父鍒╃敤鍙︿竴涓�喕缁撶殑棰勮�缁冪�缁忕綉缁滄潵鎻愬彇鎰熺煡鐗瑰緛銆傝�鎹熷け鍑芥暟榧撳姳閲嶅缓鍜岃緭鍏ヤ箣闂寸殑杩欎簺鐗瑰緛鐩稿尮閰嶏紝浠庤€屾洿濂藉湴淇濈暀鍥炲綊鎹熷け澶у�蹇借�鐨勯珮棰戝唴瀹广€傚�浜庡浘鍍忓�鐞嗭紝LPIPS 鏄�竴绉嶆祦琛岀殑閫夋嫨銆傚�鎶楁崯澶憋細浣跨敤涓庤嚜缂栫爜鍣ㄥ崗鍚岃�缁冪殑鍒ゅ埆缃戠粶锛岀被浼间簬鐢熸垚瀵规姉缃戠粶锛圙AN锛夌殑鏂规硶銆傚垽鍒�綉缁滆礋璐ｅ尯鍒嗙湡瀹炶緭鍏ヤ俊鍙峰拰閲嶅缓淇″彿锛岃€岃嚜缂栫爜鍣ㄥ垯鍔�姏娆洪獥鍒ゅ埆缃戠粶浣垮叾鍑洪敊銆傜洰鐨勬槸鎻愰珮杈撳嚭鐨勭湡瀹炴€э紝鍗充娇杩欐剰鍛崇潃杩涗竴姝ュ亸绂昏緭鍏ヤ俊鍙枫€傚湪璁�粌寮€濮嬫椂锛岄€氬父浼氭殏鏃剁�鐢ㄥ�鎶楁崯澶憋紝浠ラ伩鍏嶈�缁冭繃绋嬩腑鐨勪笉绋冲畾銆�
浠ヤ笅鏄�竴涓�洿璇︾粏鐨勭ず鎰忓浘锛屽睍绀轰簡绗�竴闃舵�鐨勮�缁冭繃绋嬶紝骞舵槑纭�樉绀轰簡鍦ㄦ�杩囩▼涓�€氬父鍙戞尌浣滅敤鐨勫叾浠栫綉缁溿€�
杩欐槸绗�竴璁�粌闃舵�鐨勬洿璇︾粏鐗堟湰鐨勫浘锛屽睍绀轰簡鎵€鏈夊弬涓庣殑缃戠粶銆�
涓嶈█鑰屽柣锛岃繖涓�€氱敤鏂规硶鍦ㄩ煶棰戝拰瑙嗛�绛夊簲鐢ㄤ腑甯稿父浼氭湁鍚勭�鍙樹綋锛屼絾鎴戣瘯鍥炬€荤粨鍑哄湪澶у�鏁扮幇浠ｅ疄闄呭簲鐢ㄤ腑甯歌�鐨勪富瑕佸厓绱犮€�
鎴戜滑鏄��浣曡蛋鍒拌繖涓€姝ョ殑
濡備粖锛岃嚜鍥炲綊鍜屾墿鏁ｆā鍨嬭繖涓ょ�涓昏�鐨勭敓鎴愭ā鍨嬭寖寮忥紝鏈€鍒濋兘鏄�簲鐢ㄤ簬銆屽師濮嬨€嶆暟瀛楁劅鐭ヤ俊鍙风殑锛屽嵆鍍忕礌锛坧ixels锛変笌娉㈠舰锛坵aveforms锛夈€備緥濡傦紝PixelRNN 鍜� PixelCNN 鏄�€愬儚绱犵敓鎴愬浘鍍忕殑锛岃€� WaveNet 鍜� SampleRNN 鍒欐槸閫愭牱鏈�敓鎴愰煶棰戞尝褰㈢殑銆傚湪鎵╂暎妯″瀷鏂归潰锛屾渶鍒濆紩鍏ュ拰寤虹珛杩欑�寤烘ā鑼冨紡鐨勪綔鍝侀兘鏄�€氳繃鍍忕礌鏉ョ敓鎴愬浘鍍忕殑锛屾棭鏈熺殑鐮旂┒濡� WaveGrad 鍜� DiffWave 鍒欐槸閫氳繃鐢熸垚娉㈠舰鏉ヤ骇鐢熷０闊崇殑銆�
鐒惰€岋紝浜轰滑寰堝揩鎰忚瘑鍒拌繖绉嶇瓥鐣ュ湪鎵╁睍鎬ф柟闈㈠瓨鍦ㄥ緢澶ф寫鎴樸€傚叾涓昏�鍘熷洜鍙�互姒傛嫭涓猴細鎰熺煡淇″彿澶у�鐢变笉鍙�療瑙夌殑鍣�０缁勬垚銆傛崲鍙ヨ瘽璇达紝鍦ㄧ粰瀹氫俊鍙风殑鎬讳俊鎭�噺涓�紝鍙�湁涓€灏忛儴鍒嗙湡姝ｅ奖鍝嶆垜浠�殑鎰熺煡銆傚洜姝わ紝纭�繚鎴戜滑鐨勭敓鎴愭ā鍨嬭兘澶熼珮鏁堝埄鐢ㄥ叾瀹归噺锛屽苟涓撴敞浜庡缓妯¤繖涓€灏忛儴鍒嗕俊鎭�槸闈炲父閲嶈�鐨勩€傝繖鏍凤紝鎴戜滑灏卞彲浠ヤ娇鐢ㄦ洿灏忋€佹洿蹇�笖鏇翠究瀹滅殑鐢熸垚妯″瀷锛屽悓鏃朵笉鐗虹壊鎰熺煡璐ㄩ噺銆�
娼滃湪鑷�洖褰掓ā鍨�
闅忕潃鍏锋湁閲岀▼纰戞剰涔夌殑 VQ-VAE 璁烘枃鐨勫彂琛�紝鍥惧儚鑷�洖褰掓ā鍨嬪彇寰椾簡宸ㄥぇ椋炶穬銆傝�璁烘枃鎻愬嚭浜嗕竴绉嶅疄鐢ㄧ瓥鐣ワ紝閫氳繃鍦ㄨ嚜缂栫爜鍣ㄤ腑鎻掑叆鐭㈤噺閲忓寲鐡堕�灞傦紝鍒╃敤绁炵粡缃戠粶瀛︿範绂绘暎琛ㄥ緛銆備负浜嗗�涔犲浘鍍忕殑绂绘暎娼滃湪琛ㄥ緛锛屼竴涓�叿鏈夊�涓�笅閲囨牱闃舵�鐨勫嵎绉�紪鐮佸櫒鐢熸垚浜嗕竴涓�煝閲忕殑绌洪棿缃戞牸锛屽叾鍒嗚鲸鐜囨瘮杈撳叆鍥惧儚浣� 4 鍊嶏紙鍦ㄩ珮搴﹀拰瀹藉害涓婂潎涓鸿緭鍏ュ浘鍍忕殑 1/4锛屽洜姝ょ┖闂翠綅缃�噺灏戜簡 16 鍊嶏級锛岀劧鍚庤繖浜涚煝閲忛€氳繃鐡堕�灞傝繘琛岄噺鍖栥€�
鐜板湪锛屾垜浠�彲浠ヤ娇鐢ㄧ被浼� PixelCNN 鐨勬ā鍨嬩竴娆＄敓鎴愪竴涓�綔鍦ㄥ悜閲忥紝鑰屼笉鏄�€愬儚绱犵敓鎴愬浘鍍忋€傝繖鏄捐憲鍑忓皯浜嗘墍闇€鐨勮嚜鍥炲綊閲囨牱姝ラ�鏁伴噺锛屼絾鏇撮噸瑕佺殑鏄�紝鍦ㄦ綔鍦ㄧ┖闂磋€屼笉鏄�儚绱犵┖闂翠腑娴嬮噺浼肩劧鎹熷け锛屾湁鍔╀簬閬垮厤鍦ㄤ笉鍙�療瑙夌殑鍣�０涓婃氮璐规ā鍨嬪�閲忋€傝繖瀹為檯涓婃槸涓€绉嶄笉鍚岀殑鎹熷け鍑芥暟锛屾洿渚ч噸浜庢劅鐭ョ浉鍏崇殑淇″彿鍐呭�锛屽洜涓鸿�澶氭劅鐭ユ棤鍏崇殑淇″彿鍐呭�鍦ㄦ綔鍦ㄥ悜閲忎腑骞朵笉瀛樺湪锛堝叧浜庤繖涓�棶棰橈紝鍙�互鍙傞槄鎴戝湪鍏稿瀷鎬ф柟闈㈢殑鍗氬�鏂囩珷锛夈€傝�璁烘枃灞曠ず浜嗕粠鍦� ImageNet 涓婅�缁冪殑妯″瀷鐢熸垚鐨� 128脳128 鍥惧儚锛岃繖绉嶅垎杈ㄧ巼鍦ㄥ綋鏃跺彧鏈� GANs 鎵嶈兘杈惧埌銆�
绂绘暎鍖栧�浜庡叾鎴愬姛鑷冲叧閲嶈�锛屽洜涓哄綋鏃剁殑鑷�洖褰掓ā鍨嬪湪绂绘暎杈撳叆涓嬭〃鐜版洿濂姐€備絾鎴栬�鏇撮噸瑕佺殑鏄�紝娼滃湪琛ㄥ緛鐨勭┖闂寸粨鏋勪娇寰楃幇鏈夌殑鍩轰簬鍍忕礌鐨勬ā鍨嬪彲浠ラ潪甯稿�鏄撳湴杩涜�閫傞厤銆傚湪姝や箣鍓嶏紝鍙樺垎鑷�紪鐮佸櫒锛圴AEs锛夐€氬父浼氬皢鏁翠釜鍥惧儚鍘嬬缉鍒颁竴涓�崟涓€鐨勬綔鍦ㄥ悜閲忎腑锛屽�鑷磋〃寰佹病鏈変换浣曟嫇鎵戠粨鏋勩€傜幇浠ｆ綔鍦ㄨ〃寰佺殑缃戞牸缁撴瀯涓庛€屽師濮嬨€嶈緭鍏ヨ〃寰佺殑缃戞牸缁撴瀯鐩搁暅鍍忥紝鐢熸垚妯″瀷鐨勭綉缁滄灦鏋勫埄鐢ㄨ繖绉嶇粨鏋勬潵鎻愰珮鏁堢巼锛堜緥濡傦紝閫氳繃鍗风Н銆佸惊鐜�垨娉ㄦ剰鍔涘眰锛夈€�
VQ-VAE 2 杩涗竴姝ュ皢鍒嗚鲸鐜囨彁楂樺埌 256脳256锛屽苟閫氳繃鎵╁ぇ瑙勬ā鍜屼娇鐢ㄥ�灞傛�鐨勬綔鍦ㄧ綉鏍硷紙浠ュ眰娆″寲缁撴瀯缁勭粐锛夋樉钁楁彁鍗囦簡鍥惧儚璐ㄩ噺銆傞殢鍚庯紝VQGAN 灏� GANs 鐨勫�鎶楀�涔犳満鍒朵笌 VQ-VAE 鏋舵瀯鐩哥粨鍚堛€傝繖浣垮緱鍒嗚鲸鐜囬檷浣庡洜瀛愪粠 4 鍊嶅�鍔犲埌 16 鍊嶏紙涓庡儚绱犺緭鍏ョ浉姣旓紝绌洪棿浣嶇疆鍑忓皯浜� 256 鍊嶏級锛屽悓鏃朵粛鐒惰兘澶熺敓鎴愰攼鍒╀笖閫肩湡鐨勯噸寤哄浘鍍忋€傚�鎶楁崯澶卞湪鍏朵腑鍙戞尌浜嗛噸瑕佷綔鐢�紝鍗充娇鏃犳硶绱у瘑閬靛惊鍘熷�杈撳叆淇″彿锛屼篃鑳介紦鍔辩敓鎴愰€肩湡鐨勮В鐮佸櫒杈撳嚭銆�
VQGAN 鎴愪负杩戜簲骞存潵鎴戜滑鍦ㄦ劅鐭ヤ俊鍙风敓鎴愬缓妯℃柟闈㈠彇寰楀揩閫熻繘灞曠殑鏍稿績鎶€鏈�€傚叾褰卞搷鎬庝箞寮鸿皟閮戒笉涓鸿繃 鈥斺€� 鎴戠敋鑷冲彲浠ヨ�锛岃繖鍙�兘鏄� GANs 鍦� 2024 骞� NeurIPS 澶т細涓婅幏寰椼€屾椂闂磋€冮獙濂栥€嶇殑涓昏�鍘熷洜銆俈QGAN 璁烘枃鎻愪緵鐨勩€屽姪鏀汇€嶏紝浣� GANs 鍗充娇鍦ㄨ�鎵╂暎妯″瀷鍑犱箮瀹屽叏鍙栦唬鐢ㄤ簬濯掍綋鐢熸垚鐨勫熀纭€浠诲姟涔嬪悗锛屼緷鐒朵繚鎸佺潃鐩稿叧鎬с€�
鍊煎緱涓€鎻愮殑鏄�紝涓婁竴鑺備腑鎻愬埌鐨勮�澶氭柟娉曞湪杩欎釜璁烘枃涓�兘琚�瀯鎬濆嚭鏉ヤ簡銆傚�浠婏紝杩�唬鐢熸垚鍣ㄩ€氬父涓嶆槸鑷�洖褰掔殑锛圥arti銆亁AI 鏈€杩戠殑 Aurora 妯″瀷浠ュ強 OpenAI 鐨� GPT-4o 鏄�樉钁椾緥澶栵級锛岄噺鍖栫摱棰堜篃琚�浛浠ｄ簡锛屼絾鍏朵粬涓€鍒囬兘杩樺湪銆傚挨鍏舵槸绠€鍗曠殑鍥炲綊鎹熷け銆佹劅鐭ユ崯澶卞拰瀵规姉鎹熷け鐨勭粍鍚堬紝灏界�鐪嬩技澶嶆潅锛屽嵈涓€鐩撮〗鍥哄湴瀛樺湪銆傚湪蹇�€熷彂灞曠殑鏈哄櫒瀛︿範棰嗗煙锛岃繖绉嶆寔涔呮€ф瀬涓虹綍瑙� 鈥斺€� 涔熻�鍙�湁鍩烘湰鏈�彉鐨� Transformer 鏋舵瀯鍜� Adam 浼樺寲鍣ㄨ兘涓庝箣濯茬編锛�
锛堣櫧鐒剁�鏁ｈ〃寰佸湪浣挎綔鍦ㄨ嚜鍥炲綊妯″瀷鍦ㄥぇ瑙勬ā搴旂敤涓�彂鎸ヤ綔鐢ㄦ柟闈㈣嚦鍏抽噸瑕侊紝浣嗘垜鎯虫寚鍑猴紝鏈€杩戣繛缁�┖闂翠腑鐨勮嚜鍥炲綊妯″瀷涔熷彇寰椾簡鑹�ソ鐨勬晥鏋溿€傦級
娼滃湪鎵╂暎
闅忕潃娼滃湪鑷�洖褰掓ā鍨嬪湪 2010 骞翠唬鍚庢湡閫愭笎宕�湶澶磋�锛屼互鍙婃墿鏁ｆā鍨嬪湪 2020 骞翠唬鍒濇湡鍙栧緱绐佺牬锛屽皢杩欎袱绉嶆柟娉曠殑浼樺娍鐩哥粨鍚堟垚涓轰簡椤虹悊鎴愮珷鐨勪笅涓€姝ャ€傚�鍚岃�澶氬簲杩愯€岀敓鐨勬兂娉曚竴鏍凤紝鎴戜滑鍦� 2021 骞翠笅鍗婂勾瑙佽瘉浜嗕竴绯诲垪鎺㈣�杩欎竴涓婚�鐨勮�鏂囧湪 arXiv 涓婃帴杩炲彂甯冦€傚叾涓�渶涓轰汉鐔熺煡鐨勬槸 Rombach 绛変汉鐨勩€奌igh-Resolution Image Synthesis with Latent Diffusion Models銆嬶紝浠栦滑娌跨敤浜嗗厛鍓嶇殑 VQGAN 鐮旂┒鎴愭灉锛屽苟灏嗚嚜鍥炲綊 Transformer 鎹㈡垚鍩轰簬 UNet 鐨勬墿鏁ｆā鍨嬶紝杩欎竴鎴愭灉鏋勬垚浜嗙ǔ瀹氭墿鏁ｆā鍨嬬殑鍩虹�銆傚叾浠栫浉鍏冲伐浣滆櫧鐒惰�妯¤緝灏忥紝鎴栬€呴拡瀵圭殑鏄�潪鍥惧儚绫绘暟鎹�紝浣嗕篃杩涜�浜嗙被浼兼帰绱€€�
杩欑�鏂规硶涓绘祦鍖栬姳浜嗙偣鏃堕棿銆傛棭鏈熷晢涓氭枃鐢熷浘妯″瀷浣跨敤鎵€璋撳垎杈ㄧ巼绾ц仈锛屽嵆鍩虹�鎵╂暎妯″瀷鐩存帴鍦ㄥ儚绱犵┖闂寸敓鎴愪綆鍒嗚鲸鐜囧浘鍍忥紝涓€涓�垨澶氫釜涓婇噰鏍锋墿鏁ｆā鍨嬪垯鍩轰簬浣庡垎杈ㄧ巼杈撳叆鐢熸垚楂樺垎杈ㄧ巼杈撳嚭銆傚吀鍨嬩緥瀛愬寘鎷� DALL-E 2 鍜� Imagen 2銆傜ǔ瀹氭墿鏁ｆā鍨嬮棶涓栧悗锛屽ぇ澶氳浆涓哄熀浜庢綔鍦ㄧ┖闂寸殑鏂规硶锛堝寘鎷� DALL-E 3 鍜� Imagen 3锛夈€�
鑷�洖褰掓ā鍨嬪拰鎵╂暎妯″瀷涓€涓�叧閿�尯鍒�湪浜庤�缁冩墍鐢ㄧ殑鎹熷け鍑芥暟銆傝嚜鍥炲綊妯″瀷璁�粌鐩稿�绠€鍗曪紝鏈€澶у寲浼肩劧鍗冲彲锛堝敖绠′篃鏇惧皾璇曡繃鍏朵粬鏂规硶锛夈€傛墿鏁ｆā鍨嬪垯澶嶆潅浜涳紝鍏舵崯澶卞嚱鏁版槸閽堝�鎵€鏈夊櫔澹扮骇鍒�殑鏈熸湜锛岃繖浜涘櫔澹扮骇鍒�殑鐩稿�鏉冮噸鏄捐憲褰卞搷妯″瀷瀛︿範鍐呭�銆傝繖涓哄皢鍏稿瀷鐨勬墿鏁ｆ崯澶辫В閲婁负涓€绉嶆劅鐭ユ崯澶卞嚱鏁版彁渚涗簡渚濇嵁锛岃繖绉嶆崯澶卞嚱鏁版洿寮鸿皟鍦ㄦ劅鐭ヤ笂鏇翠负鏄捐憲鐨勪俊鍙峰唴瀹广€�
鍒濈湅涔嬩笅锛岃繖浼氳�涓ら樁娈垫柟娉曟樉寰楀�浣欙紝鍥犲叾涓庢墿鏁ｆ崯澶卞嚱鏁扮殑鏂瑰紡绫讳技锛屽嵆杩囨护鎺夋劅鐭ユ棤鍏充俊鍙峰唴瀹癸紝閬垮厤娴�垂妯″瀷瀹归噺銆備絾瀹為檯涓�繖涓ょ�鏈哄埗鐩稿綋浜掕ˉ锛屽師鍥犲�涓嬶細
灏忓昂搴﹀拰澶у昂搴︿笅鐨勬劅鐭ュ伐浣滄満鍒朵技涔庢湁鏍规湰鍖哄埆锛屽挨鍏舵槸瑙嗚�棰嗗煙銆備緥濡傦紝寤烘ā绾圭悊鍜岀粏绮掑害缁嗚妭闇€瑕佸崟鐙��鐞嗭紝瀵规姉鏂规硶鍙�兘鏇撮€傚悎銆傛垜灏嗗湪涓嬫枃璇︾粏璁ㄨ�銆傝�缁冨ぇ鍨嬪己澶ф墿鏁ｆā鍨嬭�绠楀瘑闆嗭紝浣跨敤鏇寸揣鍑戠殑娼滃湪绌洪棿鍙�伩鍏嶅�鐞嗙�閲嶇殑杈撳叆琛ㄥ緛锛屾湁鍔╀簬鍑忓皯鍐呭瓨闇€姹傦紝鍔犲揩璁�粌鍜岄噰鏍烽€熷害銆�
鏃╂湡纭�疄鏈夊伐浣滃皾璇曠�鍒扮�鏂规硶锛岃仈鍚堝�涔犳綔鍦ㄨ〃寰佸拰鎵╂暎鍏堥獙锛屼絾鏈�祦琛屻€傚敖绠′粠瀹炵敤瑙掑害鐪嬶紝閬垮厤澶氶樁娈佃�缁冪殑搴忓垪渚濊禆鏄�彲鍙栫殑锛屼絾鎰熺煡鍜岃�绠椾紭鍔夸娇杩欎簺楹荤儲鍊煎緱銆�
涓轰粈涔堥渶瑕佷袱涓�樁娈碉紵
濡傚墠鎵€杩帮紝纭�繚鎰熺煡淇″彿鐨勭敓鎴愭ā鍨嬭兘澶熼珮鏁堝埄鐢ㄥ叾瀹归噺鑷冲叧閲嶈�锛屽洜涓鸿繖鑳戒娇瀹冧滑鏇村叿鎴愭湰鏁堢泭銆傝繖鍩烘湰涓婂氨鏄�袱闃舵�鏂规硶鎵€瀹炵幇鐨勭洰鏍囷細閫氳繃鎻愬彇鏇寸揣鍑戠殑琛ㄥ緛锛屼笓娉ㄤ簬淇″彿鍐呭�涓�笌鎰熺煡鐩稿叧閮ㄥ垎锛屽苟瀵硅繖涓€琛ㄥ緛杩涜�寤烘ā鑰岄潪鍘熷�琛ㄥ緛锛屾垜浠�兘澶熶娇鐩稿�杈冨皬鐨勭敓鎴愭ā鍨嬪彂鎸ヨ秴瓒婂叾瑙勬ā鐨勬晥鏋溿€�
澶у�鏁版劅鐭ヤ俊鍙蜂腑鐨勪俊鎭�疄闄呬笂鍦ㄦ劅鐭ヤ笂骞朵笉閲嶈�锛岃繖骞堕潪鏂板彂鐜帮細杩欎篃鏄�湁鎹熷帇缂╄儗鍚庣殑鍏抽敭鎬濇兂锛屽畠浣挎垜浠�兘澶熶互鏇翠綆鐨勬垚鏈�瓨鍌ㄥ拰浼犺緭杩欎簺淇″彿銆傚儚 JPEG 鍜� MP3 杩欐牱鐨勫帇缂╃畻娉曞埄鐢ㄤ簡淇″彿涓�殑鍐椾綑浠ュ強鎴戜滑瀵逛綆棰戞瘮楂橀�鏇存晱鎰熺殑浜嬪疄锛屼粠鑰岀敤鏇村皯鐨勬瘮鐗硅〃寰佹劅鐭ヤ俊鍙枫€傦紙杩樻湁鍏朵粬鎰熺煡鏁堝簲锛屼緥濡傚惉瑙夋帺钄斤紝浣嗛潪鍧囧寑鐨勯�鐜囨晱鎰熸€ф槸鏈€閲嶈�鐨勩€傦級
閭ｄ箞锛屾垜浠�负浠€涔堜笉浠ヨ繖浜涙湁鎹熷帇缂╂妧鏈�负鍩虹�鏉ユ瀯寤虹敓鎴愭ā鍨嬪憿锛熻繖骞堕潪涓€涓�潖涓绘剰锛屼竴浜涚爺绌剁‘瀹炰负姝ょ洰鐨勪娇鐢ㄤ簡杩欎簺绠楁硶鎴栧叾閮ㄥ垎缁勪欢銆備絾鎴戜滑寰堣嚜鐒跺湴鍊惧悜浜庣敤鏇村�鐨勬満鍣ㄥ�涔犳潵瑙ｅ喅闂��锛岀湅鐪嬫槸鍚﹁兘瓒呰秺杩欎簺 鈥滄墜宸ヨ�璁♀€� 鐨勭畻娉曘€�
杩欎笉浠呬粎鏄�満鍣ㄥ�涔犵爺绌惰€呯殑鑷�ぇ锛氬疄闄呬笂锛屼娇鐢ㄥ�涔犲緱鍒扮殑娼滃湪琛ㄥ緛鑰岄潪棰勫厛瀛樺湪鐨勫帇缂╄〃寰佹湁涓€涓�潪甯稿ソ鐨勭悊鐢便€備笌鍘嬬缉璁剧疆涓嶅悓锛屽湪鍘嬬缉璁剧疆涓�秺灏忚秺濂斤紝灏哄�鏄�敮涓€閲嶈�鐨勫洜绱狅紝鐢熸垚寤烘ā鐨勭洰鏍囪繕鏂藉姞浜嗗叾浠栫害鏉燂細鏌愪簺琛ㄥ緛姣斿叾浠栬〃寰佹洿瀹规槗寤烘ā銆傝嚦鍏抽噸瑕佺殑鏄�紝琛ㄥ緛涓�繚鐣欎簡涓€浜涚粨鏋勶紝鎴戜滑鍙�互閫氳繃璧嬩簣鐢熸垚妯″瀷閫傚綋鐨勫綊绾冲亸缃�潵鍔犱互鍒╃敤銆傝繖涓€瑕佹眰鍦ㄩ噸寤鸿川閲忓拰娼滃湪琛ㄥ緛鐨勫彲寤烘ā鎬т箣闂村垱閫犱簡鏉冭 锛屾垜浠�皢鍦ㄤ笅涓€鑺備腑鎺㈣�杩欎竴鐐广€�
娼滃湪琛ㄥ緛鏈夋晥鎬х殑鍙︿竴涓�噸瑕佸師鍥犳槸瀹冧滑濡備綍鍒╃敤鎴戜滑鎰熺煡鍦ㄤ笉鍚屽昂搴︿笂涓嶅悓宸ヤ綔鐨勪簨瀹炪€傚湪闊抽�棰嗗煙锛岃繖涓€鐐规樉鑰屾槗瑙侊細骞呭害鐨勫揩閫熷彉鍖栦細浜х敓闊抽珮鐨勬劅鐭ワ紝鑰屽湪杈冪矖鏃堕棿灏哄害涓婄殑鍙樺寲锛堜緥濡傞紦鐐癸級鍒欏彲浠ヨ�鍗曠嫭杈ㄥ埆銆傞矞涓轰汉鐭ョ殑鏄�紝杩欑�鐜拌薄鍦ㄨ�瑙夋劅鐭ヤ腑涔熸壆婕旂潃閲嶈�瑙掕壊锛氶�鑹插拰寮哄害鐨勫揩閫熷眬閮ㄦ尝鍔ㄨ�鎰熺煡涓虹汗鐞嗐€傛垜鏇惧湪 Twitter 涓婂皾璇曡В閲婅繖涓€鐐癸紝骞跺湪姝ゅ�鏀瑰啓璇ヨВ閲婏細
涓€绉嶆€濊€冩柟寮忔槸绾圭悊涓庣粨鏋勭殑瀵规瘮锛屾垨鑰呮湁鏃朵汉浠�О涔嬩负涓滆タ涓庣墿浣撶殑瀵规瘮銆�
鍦ㄤ竴寮犵嫍鍦ㄧ敯閲庝腑鐨勫浘鍍忛噷锛岃崏鐨勭汗鐞嗭紙涓滆タ锛夋槸楂樼喌鐨勶紝浣嗘垜浠�笉鍠勪簬鎰熺煡杩欑�绾圭悊鍚勪釜瀹炰緥闂寸殑宸�紓锛屾垜浠�彧鏄�皢鍏舵劅鐭ヤ负涓嶅彲鏁扮殑銆岃崏銆嶃€傛垜浠�棤闇€閫愪竴鎶婃瘡涓€鏍硅崏鍙剁湅鍦ㄧ溂閲岋紝灏辫兘纭�畾鎴戜滑鐪嬪埌鐨勬槸鐢伴噹銆�
杩欑�绾圭悊鐨勫疄鐜板�鏋滅◢鏈変笉鍚岋紝鎴戜滑閫氬父鏃犳硶瀵熻�锛岄櫎闈炴妸鍥惧儚鐩存帴鍙犲湪涓€璧枫€傜敤瀵规姉鑷�紪鐮佸櫒鍋氬疄楠屽緢鏈夎叮锛氬綋鎶婂師濮嬪浘鍍忓拰閲嶅缓鍥惧儚骞舵帓鏀惧湪涓€璧锋瘮杈冩椂锛屽畠浠�線寰€鐪嬭捣鏉ヤ竴妯′竴鏍枫€備絾濡傛灉鎶婂畠浠�彔鍦ㄤ竴璧凤紝鏉ュ洖鍒囨崲鏌ョ湅锛屽父甯镐細鍙戠幇鍥惧儚涔嬮棿鐨勫樊寮傦紝灏ゅ叾鏄�湪绾圭悊涓板瘜鐨勫尯鍩熴€�
瀵逛簬鐗╀綋锛堟湁褰㈢殑涓滆タ锛夋潵璇达紝鎯呭喌鍒欎笉鍚岋紝渚嬪�鐙楃殑鐪肩潧锛岀被浼肩▼搴︾殑宸�紓浼氱珛鍒绘樉鐜板嚭鏉ャ€� 涓€涓�ソ鐨勬綔鍦ㄨ〃寰佷細鎶借薄鍖栫汗鐞嗭紝浣嗗敖閲忎繚鐣欑粨鏋勩€傝繖鏍蜂竴鏉ワ紝鍦ㄩ噸寤轰腑瀵硅崏绾圭悊鐨勮〃鐜板彲浠ヤ笌鍘熷�涓嶅悓锛岃€屼笉浼氭槑鏄惧奖鍝嶉噸寤虹殑淇濈湡搴︺€傝繖浣垮緱鑷�紪鐮佸櫒鑳藉�鑸嶅純璁稿�妯″紡锛堝嵆鍚屼竴绾圭悊鐨勫叾浠栬〃鐜板舰寮忥級锛屽苟鍦ㄥ叾娼滃湪绌洪棿涓�洿绠€娲佸湴琛ㄥ緛璇ョ汗鐞嗙殑瀛樺湪銆�
杩欏弽杩囨潵涔熷簲璇ヤ娇娼滃湪绌洪棿涓�殑鐢熸垚寤烘ā鍙樺緱鏇村�鏄擄紝鍥犱负瀹冪幇鍦ㄥ彲浠ュ�绾圭悊鐨勬湁鏃犺繘琛屽缓妯★紝鑰屾棤闇€鎹曟崏涓庤�绾圭悊鐩稿叧鐨勬墍鏈夊�鏉傚彉鍖栥€�
涓€寮犵嫍鍦ㄧ敯閲庝腑鐨勫浘鐗囥€傚浘鐗囩殑涓婂崐閮ㄥ垎鐔靛€煎緢浣庯細缁勬垚澶╃┖鐨勫儚绱犲彲浠ヤ粠鍏剁浉閭诲儚绱犱腑寰堝�鏄撳湴棰勬祴鍑烘潵銆傝€屼笅鍗婇儴鍒嗙喌鍊煎緢楂橈細鑽夊湴鐨勭汗鐞嗕娇寰楅檮杩戠殑鍍忕礌寰堥毦琚��娴嬨€�
鐢变簬涓ら樁娈垫柟娉曟彁渚涚殑鏄捐憲鏁堢巼鎻愬崌锛屾垜浠�技涔庢効鎰忓繊鍙楀畠甯︽潵鐨勯�澶栧�鏉傛€� 鈥斺€� 鑷冲皯鐩�墠鏄�繖鏍枫€傝繖绉嶆晥鐜囩殑鎻愬崌涓嶄粎浣胯�缁冭繍琛屾洿蹇�€佹洿渚垮疁锛岃€屼笖鏇撮噸瑕佺殑鏄�紝瀹冭繕鍙�互澶уぇ鍔犻€熼噰鏍枫€傚�浜庢墽琛岃凯浠ｇ粏鍖栫殑鐢熸垚妯″瀷鏉ヨ�锛岃繖绉嶆樉钁楃殑鎴愭湰闄嶄綆闈炲父鍙楁�杩庯紝鍥犱负鐢熸垚鍗曚釜鏍锋湰闇€瑕佸�娆￠€氳繃妯″瀷杩涜�鍓嶅悜浼犳挱銆�
鏉冭 閲嶅缓璐ㄩ噺鍜屽彲寤烘ā鎬�
娣卞叆鎺㈣�鏈夋崯鍘嬬缉鍜屾綔鍦ㄨ〃寰佸�涔犱箣闂寸殑宸�紓鏄�€煎緱鐨勩€傝櫧鐒舵満鍣ㄥ�涔犲彲浠ョ敤浜庝袱鑰咃紝浣嗗�浠婂箍娉涗娇鐢ㄧ殑澶у�鏁版湁鎹熷帇缂╃畻娉曞苟娌℃湁浣跨敤鏈哄櫒瀛︿範銆傝繖浜涚畻娉曢€氬父鍩轰簬鐜囧け鐪熺悊璁猴紝璇ョ悊璁哄舰寮忓寲骞堕噺鍖栦簡鎴戜滑鑳藉�鍘嬬缉淇″彿鐨勭▼搴︼紙鐜囷級涓庢垜浠�厑璁歌В鍘嬬缉淇″彿涓庡師濮嬩俊鍙峰亸绂荤殑绋嬪害锛堝け鐪燂級涔嬮棿鐨勫叧绯汇€�
瀵逛簬娼滃湪琛ㄥ緛瀛︿範锛屾垜浠�彲浠ラ€氳繃寮曞叆鍙�缓妯℃€ф垨鍙��涔犳€х殑姒傚康鏉ユ墿灞曡繖绉嶆潈琛★紝璇ユ�蹇垫弿杩颁簡鐢熸垚妯″瀷鎹曟崏杩欑�琛ㄥ緛鍒嗗竷鐨勯毦搴︺€傝繖瀵艰嚧浜嗕竴涓�笁鏂圭殑鐜囧け鐪熷彲寤烘ā鎬ф潈琛★紝杩欎笌 Tschannen 绛変汉鍦ㄨ〃寰佸�涔犵殑鑳屾櫙涓嬭�璁虹殑鐜囧け鐪熸湁鐢ㄦ€ф潈琛″瘑鍒囩浉鍏炽€傦紙鍦ㄦ満鍣ㄥ�涔犺儗鏅�笅锛屽彟涓€绉嶆祦琛岀殑鎵╁睍杩欑�鏉冭 鐨勬柟寮忔槸鐜囧け鐪熸劅鐭ユ潈琛★紝瀹冩槑纭�尯鍒嗕簡閲嶅缓淇濈湡搴﹀拰鎰熺煡璐ㄩ噺銆備负浜嗛伩鍏嶈繃浜庡�鏉傦紝鎴戝湪杩欓噷涓嶄細鍋氳繖绉嶅尯鍒嗭紝鑰屾槸灏嗗け鐪熻�涓哄湪鎰熺煡绌洪棿涓�祴閲忕殑閲忥紝鑰屼笉鏄�緭鍏ョ┖闂淬€傦級
涓轰粈涔堣繖鐢氳嚦鏄�竴涓�潈琛″苟涓嶇珛鍗虫樉鑰屾槗瑙� 鈥斺€� 涓轰粈涔堝彲寤烘ā鎬т笌澶辩湡鐩稿啿绐侊紵瑕佺悊瑙ｈ繖涓€鐐癸紝鑰冭檻鏈夋崯鍘嬬缉绠楁硶鐨勫伐浣滄柟寮忥細瀹冧滑鍒╃敤宸茬煡鐨勪俊鍙风粨鏋勬潵鍑忓皯鍐椾綑銆傚湪杩欎釜杩囩▼涓�紝杩欑�缁撴瀯閫氬父浠庡帇缂╄〃寰佷腑琚�Щ闄わ紝鍥犱负瑙ｅ帇缂╃畻娉曡兘澶熼噸寤哄畠銆備絾杈撳叆淇″彿涓�殑缁撴瀯涔熷湪鐜颁唬鐢熸垚妯″瀷涓��骞挎硾鍒╃敤锛屼緥濡備互鏋舵瀯褰掔撼鍋忓樊鐨勫舰寮忥紝杩欎簺鍋忓樊鍒╃敤淇″彿灞炴€э紝濡傚钩绉荤瓑鍙樻€ф垨棰戠巼璋辩殑鐗瑰畾鐗瑰緛銆�
濡傛灉鎴戜滑鏈変竴涓��濂囩殑绠楁硶锛岃兘澶熼珮鏁堝湴浠庤緭鍏ヤ俊鍙蜂腑绉婚櫎鍑犱箮鎵€鏈夊啑浣欙紝鎴戜滑灏嗕娇鐢熸垚妯″瀷鎹曟崏鍘嬬缉淇″彿涓�墿浣欑殑鏃犵粨鏋勫彉寮傛€у彉寰楅潪甯稿洶闅俱€傚�鏋滄垜浠�殑鐩�爣浠呬粎鏄�帇缂╋紝杩欐槸瀹屽叏鍙�互鐨勶紝浣嗗�鏋滄垜浠��杩涜�鐢熸垚寤烘ā锛屽氨涓嶆槸杩欐牱浜嗐€傚洜姝わ紝鎴戜滑蹇呴』鎵惧埌涓€涓�钩琛★細涓€涓�ソ鐨勬綔鍦ㄨ〃寰佸�涔犵畻娉曚細妫€娴嬪苟绉婚櫎涓€浜涘啑浣欙紝浣嗗悓鏃朵篃浼氫繚鐣欎竴浜涗俊鍙风粨鏋勶紝浠ヤ究涓虹敓鎴愭ā鍨嬬暀涓嬩竴浜涘彲浠ュ埄鐢ㄧ殑涓滆タ銆�
鍦ㄨ繖绉嶆儏鍐典笅锛屼竴涓�笉濂界殑渚嬪瓙鏄�喌缂栫爜锛屽畠瀹為檯涓婃槸涓€绉嶆棤鎹熷帇缂╂柟娉曪紝浣嗕篃琚�敤浣滆�澶氭湁鎹熸柟妗堢殑鏈€鍚庨樁娈碉紙渚嬪� JPEG/PNG 涓�殑闇嶅か鏇肩紪鐮侊紝鎴� H.265 涓�殑绠楁湳缂栫爜锛夈€傜喌缂栫爜绠楁硶閫氳繃涓洪�绻佸嚭鐜扮殑妯″紡鍒嗛厤鏇寸煭鐨勮〃寰佹潵鍑忓皯鍐椾綑銆傝繖骞舵病鏈夌Щ闄や换浣曚俊鎭�紝浣嗗畠鐮村潖浜嗙粨鏋勩€傚洜姝わ紝杈撳叆淇″彿涓�殑灏忓彉鍖栧彲鑳藉�鑷寸浉搴旂殑鍘嬬缉淇″彿鍙戠敓鏇村ぇ鐨勫彉鍖栵紝浠庤€屼娇鐔电紪鐮佸簭鍒楃殑寤烘ā闅惧害澶уぇ澧炲姞銆�
鐩告瘮涔嬩笅锛屾綔鍦ㄨ〃寰佸€惧悜浜庝繚鐣欏ぇ閲忕殑淇″彿缁撴瀯銆備笅闈㈢殑鍥惧睍绀轰簡涓€浜涘浘鍍忕殑 Stable Diffusion 娼滃湪琛ㄥ緛鐨勫彲瑙嗗寲锛堝彇鑷� EQ-VAE 璁烘枃锛夈€備粎閫氳繃瑙嗚�妫€鏌ユ綔鍦ㄨ〃寰侊紝灏卞彲浠ュ緢瀹规槗鍦拌瘑鍒�嚭鍔ㄧ墿銆傚畠浠�熀鏈�笂鐪嬭捣鏉ュ儚鏄�甫鏈夋壄鏇查�鑹茬殑鍣�０浣庡垎杈ㄧ巼鍥惧儚銆傝繖灏辨槸涓轰粈涔堟垜鍠滄�灏嗗浘鍍忔綔鍦ㄨ〃寰佽�涓轰粎浠呮槸銆岄珮绾у儚绱犮€嶏紝鎹曟崏浜嗕竴浜涙櫘閫氬儚绱犱笉浼氭崟鎹夌殑棰濆�淇℃伅锛屼絾澶ч儴鍒嗕粛鐒跺儚鍍忕礌涓€鏍疯〃鐜般€�
浠庡嚑骞呭浘鍍忎腑鎻愬彇鐨� Stable Diffusion 娼滃湪琛ㄥ緛鐨勫彲瑙嗗寲锛屽彇鑷� EQ-VAE 璁烘枃銆傛綔鍦ㄧ┖闂寸殑鍓嶄笁涓�富鎴愬垎鍒嗗埆瀵瑰簲浜庨�鑹查€氶亾銆備粠娼滃湪琛ㄥ緛鐨勮�瑙夋�鏌ヤ腑锛屽浘鍍忎腑鐨勫姩鐗╀粛鐒跺ぇ澶氬彲浠ヨ�璇嗗埆鍑烘潵锛岃繖琛ㄦ槑缂栫爜鍣ㄤ繚鐣欎簡澶ч噺鍘熷�淇″彿鐨勭粨鏋勩€�
鍙�互璇达紝杩欎簺娼滃湪琛ㄥ緛鐩稿綋浣庡眰娆°€備紶缁熺殑鍙樺垎鑷�紪鐮佸櫒锛圴AE锛変細灏嗘暣涓�浘鍍忓帇缂╂垚涓€涓�壒寰佸悜閲忥紝閫氬父浼氬緱鍒颁竴涓�兘澶熻繘琛岃�涔夋搷浣滅殑楂樼骇琛ㄥ緛锛岃€岀幇浠ｇ敤浜庡浘鍍忕敓鎴愬缓妯＄殑娼滃湪琛ㄥ緛瀹為檯涓婃洿鎺ヨ繎鍍忕礌灞傞潰銆傚畠浠�叿鏈夋洿楂樼殑瀹归噺锛岀户鎵夸簡杈撳叆鐨勭綉鏍肩粨鏋勶紙灏界�鍒嗚鲸鐜囪緝浣庯級銆傜綉鏍间腑鐨勬瘡涓�綔鍦ㄥ悜閲忓彲鑳戒細鎶借薄鎺変竴浜涗綆灞傛�鐨勫浘鍍忕壒寰侊紝渚嬪�绾圭悊锛屼絾瀹冨苟娌℃湁鎹曟崏鍒板浘鍍忓唴瀹圭殑璇�箟銆傝繖涔熸槸涓轰粈涔堝ぇ澶氭暟鑷�紪鐮佸櫒骞朵笉浣跨敤浠讳綍棰濆�鐨勬潯浠朵俊鍙凤紝渚嬪�鏂囧瓧鎻忚堪锛屽洜涓鸿繖浜涗俊鍙蜂富瑕佺害鏉熺殑鏄�珮灞傛�鐨勭粨鏋勶紙灏界�涔熸湁渚嬪�锛夈€�
鍙�帶鎬�
涓や釜鍏抽敭鐨勮�璁″弬鏁版帶鍒剁潃鍏锋湁缃戞牸缁撴瀯鐨勬綔鍦ㄧ┖闂寸殑瀹归噺锛氫笅閲囨牱鍥犲瓙鍜岃〃寰佺殑閫氶亾鏁般€傚�鏋滄綔鍦ㄨ〃寰佹槸绂绘暎鐨勶紝鐮佹湰澶у皬涔熷緢閲嶈�锛屽洜涓哄畠瀵规綔鍦ㄨ〃寰佽兘澶熷寘鍚�殑淇℃伅浣嶆暟鏂藉姞浜嗕竴涓�‖鎬ч檺鍒躲€傦紙闄や簡杩欎簺锛屾�鍒欏寲绛栫暐涔熻捣鐫€閲嶈�浣滅敤锛屼絾鎴戜滑灏嗗湪涓嬩竴鑺傝�璁哄畠浠�殑褰卞搷銆傦級
浠ヤ竴涓�ず渚嬫潵璇达紝缂栫爜鍣ㄥ彲鑳戒細鎺ユ敹涓€寮� 256脳256 鍍忕礌鐨勫浘鍍忎綔涓鸿緭鍏ワ紝骞剁敓鎴愪竴涓�甫鏈� 8 涓�€氶亾鐨� 32脳32 杩炵画娼滃湪鍚戦噺缃戞牸銆傝繖鍙�互閫氳繃浣跨敤璺ㄦ�鍗风Н鍫嗘爤鎴栬ˉ涓佸ぇ灏忎负 8 鐨勮�瑙夎浆鎹㈠櫒锛圴iT锛夋潵瀹炵幇銆傞檷閲囨牱鍥犲瓙浼氬悓鏃堕檷浣庡�搴﹀拰楂樺害鏂瑰悜鐨勭淮搴︼紝鍥犳�娼滃湪鍚戦噺鐨勬暟閲忔瘮鍍忕礌灏� 64 鍊� 鈥斺€� 浣嗘瘡涓�綔鍦ㄥ悜閲忔湁 8 涓�垎閲忥紝鑰屾瘡涓�儚绱犲彧鏈� 3 涓�紙RGB锛夈€�
鎬讳綋鑰岃█锛屾綔鍦ㄨ〃寰佺殑寮犻噺缁勪欢鏁伴噺锛堝嵆娴�偣鏁帮級姣旇〃寰佸師濮嬪浘鍍忕殑寮犻噺灏戙€傛垜鍠滄�灏嗚繖涓�暟瀛楃О涓哄紶閲忓昂瀵哥缉鍑忓洜瀛愶紙TSR锛夛紝浠ラ伩鍏嶄笌绌洪棿鎴栨椂闂撮檷閲囨牱鍥犲瓙娣锋穯銆�
灞曠ず鏂囨湰涓�弿杩扮殑杈撳叆鍜屾綔鍦ㄧ淮搴︾殑绀烘剰鍥俱€�
濡傛灉鎴戜滑鎶婄紪鐮佸櫒鐨勪笅閲囨牱鍥犲瓙澧炲姞 2 鍊嶏紝娼滃湪缃戞牸鐨勫ぇ灏忓氨浼氬彉鎴� 16脳16锛岀劧鍚庢垜浠�彲浠ユ妸閫氶亾鏁板�鍔� 4 鍊嶅埌 32 涓�€氶亾锛屼互淇濇寔鐩稿悓鐨� TSR锛堟€荤┖闂村啑浣欙級銆傚�浜庣粰瀹氱殑 TSR锛岄€氬父鏈夊嚑绉嶄笉鍚岀殑閰嶇疆鍦ㄩ噸寤鸿川閲忔柟闈㈣〃鐜板緱澶ц嚧鐩稿綋锛屽挨鍏舵槸鍦ㄨ�棰戠殑鎯呭喌涓嬶紝鎴戜滑鍙�互鍒嗗埆鎺у埗鏃堕棿鍜岀┖闂寸殑涓嬮噰鏍峰洜瀛愩€傜劧鑰岋紝濡傛灉鎴戜滑鏀瑰彉 TSR锛堥€氳繃鏀瑰彉涓嬮噰鏍峰洜瀛愯€屼笉鏀瑰彉閫氶亾鏁帮紝鎴栬€呭弽涔嬶級锛岃繖閫氬父浼氬�閲嶅缓璐ㄩ噺鍜屽彲寤烘ā鎬т骇鐢熸繁杩滅殑褰卞搷銆�
浠庣函鏁板�瑙掑害鏉ョ湅锛岃繖鏄�护浜烘儕璁剁殑锛氬�鏋滄綔鍦ㄥ彉閲忔槸瀹炲€肩殑锛岀綉鏍肩殑澶у皬鍜岄€氶亾鐨勬暟閲忓氨涓嶅簲璇ユ湁鍏崇郴锛屽洜涓哄崟涓�暟瀛楃殑淇℃伅瀹归噺宸茬粡鏄�棤闄愮殑锛堣繖琚� Tupper 鐨勮嚜鎸囧叕寮忓阀濡欏湴璇佹槑浜嗭級銆備絾褰撶劧锛屾湁涓€浜涘疄闄呯殑闄愬埗鍥犵礌闄愬埗浜嗘綔鍦ㄨ〃寰佺殑鍗曚釜缁勬垚閮ㄥ垎鑳藉�鎼哄甫鐨勪俊鎭�噺锛�
鎴戜滑浣跨敤娴�偣鏁版潵琛ㄥ緛瀹炴暟锛岃€屾诞鐐规暟鐨勭簿搴︽槸鏈夐檺鐨勶紱鍦ㄨ�澶氬叕寮忎腑锛岀紪鐮佸櫒浼氭坊鍔犱竴瀹氶噺鐨勫櫔澹帮紝杩欒繘涓€姝ラ檺鍒朵簡鏈夋晥鐨勭簿搴︼紱绁炵粡缃戠粶骞朵笉鎿呴暱瀛︿範鍏惰緭鍏ョ殑楂橀潪绾挎€у嚱鏁般€�
绗�竴涓�師鍥犳樉鑰屾槗瑙侊細濡傛灉鐢� 32 浣嶏紙鍗曠簿搴︼級鏉ヨ〃寰佷竴涓�暟瀛楋紝閭ｄ箞瀹冩渶澶氫篃鍙�兘浼犻€� 32 浣嶇殑淇℃伅銆傚姞鍏ュ櫔澹颁細杩涗竴姝ュ噺灏戝彲鐢ㄧ殑浣嶆暟锛屽洜涓轰竴浜涗綆浣嶆暟瀛椾細琚�櫔澹版帺鐩栥€�
鏈€鍚庝竴涓�檺鍒跺叾瀹炴洿涓轰弗鏍硷紝浣嗙洰鍓嶇悊瑙ｈ繕涓嶅�鍏呭垎锛氶毦閬撶�缁忕綉缁滀笉灏辨槸涓轰簡瀛︿範闈炵嚎鎬у嚱鏁板悧锛熺‘瀹炲�姝わ紝浣嗙�缁忕綉缁滃ぉ鐒跺€惧悜浜庡�涔犵浉瀵圭畝鍗曠殑鍑芥暟銆傝繖閫氬父鏄�竴涓�紭鐐癸紝鑰屼笉鏄�己鐐癸紝鍥犱负瀹冨�鍔犱簡瀛︿範鍒扮殑鍑芥暟鑳藉�娉涘寲鍒版湭瑙佹暟鎹�殑姒傜巼銆備絾濡傛灉鎴戜滑瑕佹妸澶ч噺淇℃伅鍘嬬缉鍒板嚑涓�暟瀛椾腑锛岃繖寰堝彲鑳介渶瑕侀珮搴︾殑闈炵嚎鎬с€傝櫧鐒舵湁涓€浜涙柟娉曞彲浠ュ府鍔╃�缁忕綉缁滃�涔犳洿澶嶆潅鐨勯潪绾挎€у嚱鏁帮紙渚嬪�鍌呴噷鍙剁壒寰侊級锛屼絾鍦ㄦ垜浠�殑鍦烘櫙涓�紝楂樺害闈炵嚎鎬х殑鏄犲皠瀹為檯涓婁細瀵瑰彲寤烘ā鎬т骇鐢熻礋闈㈠奖鍝嶏細瀹冧滑浼氭帺鐩栦俊鍙风粨鏋勶紝鍥犳�杩欎笉鏄�竴涓�ソ鐨勮В鍐虫柟妗堛€傚叿鏈夋洿澶氱粍浠剁殑琛ㄥ緛浼氭彁渚涙洿濂界殑鏉冭 銆�
鍚屾牱鐨勯亾鐞嗕篃閫傜敤浜庣�鏁ｆ綔鍦ㄨ〃寰侊細绂绘暎鍖栧�琛ㄥ緛鐨勪俊鎭�唴瀹硅�瀹氫簡涓€涓�‖鎬т笂闄愶紝浣嗘槸鍚﹁兘澶熼珮鏁堝湴鍒╃敤杩欎竴瀹归噺涓昏�鍙栧喅浜庣紪鐮佸櫒鐨勮〃杈捐兘鍔涗互鍙婇噺鍖栫瓥鐣ュ湪瀹為檯涓�殑鏁堟灉锛堝嵆鏄�惁閫氳繃灏藉彲鑳藉潎鍖€鍦颁娇鐢ㄤ笉鍚岀爜瀛楁潵瀹炵幇楂樼爜鏈�埄鐢ㄧ巼锛夈€傜洰鍓嶆渶甯哥敤鐨勪粛鐒舵槸 VQ-VAE 涓�殑鍘熷� VQ 鐡堕�锛屼絾鏈€杩戜竴绉嶉€氳繃銆屾棆杞�妧宸с€嶆彁渚涙洿濂芥�搴︿及璁＄殑鏀硅繘鏂规硶鍦ㄧ爜鏈�埄鐢ㄧ巼鍜岀�鍒扮�鎬ц兘鏂归潰浼间箮寰堟湁鍓嶆櫙銆備竴浜涗笉浣跨敤鏄惧紡瀛︿範鐮佹湰鐨勬浛浠ｆ柟妗堜篃閫愭笎鍙楀埌鍏虫敞锛屼緥濡傛湁闄愭爣閲忛噺鍖栵紙FSQ锛夈€佹棤鏌ユ壘閲忓寲锛圠FQ锛夊拰浜岃繘鍒剁悆闈㈤噺鍖栵紙BSQ锛夈€�
鎬荤粨鏉ヨ�锛岄€夋嫨鍚堥€傜殑 TSR锛堟€荤┖闂村啑浣欙級鑷冲叧閲嶈�锛氭洿澶х殑娼滃湪琛ㄥ緛鑳藉�甯︽潵鏇村ソ鐨勯噸寤鸿川閲忥紙鏇撮珮鐨勭巼锛屾洿浣庣殑澶辩湡锛夛紝浣嗗彲鑳戒細瀵瑰彲寤烘ā鎬т骇鐢熻礋闈㈠奖鍝嶃€傛洿澶х殑琛ㄥ緛鎰忓懗鐫€鏈夋洿澶氱殑淇℃伅浣嶉渶瑕佸缓妯★紝鍥犳�闇€瑕佺敓鎴愭ā鍨嬪叿澶囨洿楂樼殑瀹归噺銆傚湪瀹炶返涓�紝杩欑�鏉冭 閫氬父鏄�€氳繃缁忛獙鏉ヨ皟鏁寸殑銆傝繖鍙�兘鏄�竴涓�垚鏈�緝楂樼殑杩囩▼锛屽洜涓虹洰鍓嶈繕娌℃湁浠讳綍鍙�潬涓旇�绠楁垚鏈�綆鐨勫彲寤烘ā鎬т唬鐞嗘寚鏍囥€傚洜姝わ紝闇€瑕佸弽澶嶈�缁冭冻澶熷ぇ鐨勭敓鎴愭ā鍨嬫墠鑳藉緱鍒版湁鎰忎箟鐨勭粨鏋溿€�
Hansen-Estruch 绛変汉鏈€杩戝�娼滃湪绌洪棿瀹归噺鍙婂叾鍚勭�褰卞搷鍥犵礌杩涜�浜嗗箍娉涚殑鎺㈢储锛堜粬浠�殑鍏抽敭鍙戠幇宸插湪鏂囦腑鏄庣‘绐佸嚭鏄剧ず锛夈€傜洰鍓嶆湁涓€涓�秼鍔挎槸澧炲姞绌洪棿涓嬮噰鏍峰洜瀛愶紝骞剁浉搴斿湴澧炲姞閫氶亾鏁颁互淇濇寔 TSR锛屼互渚垮湪鏇撮珮鍒嗚鲸鐜囦笅杩涜�鍥惧儚鍜岃�棰戠敓鎴愶紙渚嬪� LTX-Video 涓�殑 32脳銆丟AIA-2 涓�殑 44脳锛屼互鍙� DCAE 涓�殑 64脳锛夈€�
姊崇悊鍜屽�閫犳綔鍦ㄧ┖闂�
鍒扮洰鍓嶄负姝�紝鎴戜滑宸茬粡璁ㄨ�浜嗘綔鍦ㄨ〃寰佺殑瀹归噺锛屽嵆搴旇�鍦ㄥ叾涓�寘鍚��灏戜綅淇℃伅銆傚悓鏍烽噸瑕佺殑鏄�紝瑕佺簿纭�帶鍒跺師濮嬭緭鍏ヤ俊鍙蜂腑鐨勫摢浜涗綅淇℃伅搴旇�琚�繚鐣欏湪娼滃湪琛ㄥ緛涓�紝浠ュ強杩欎簺淇℃伅鏄��浣曞憟鐜扮殑銆傛垜灏嗗墠鑰呯О涓烘⒊鐞嗘綔鍦ㄧ┖闂达紝鍚庤€呯О涓哄�閫犳綔鍦ㄧ┖闂� 鈥斺€� 杩欑�鍖哄垎铏界劧寰��锛屼絾寰堥噸瑕併€傝�澶氭�鍒欏寲绛栫暐宸茬粡琚��璁″嚭鏉ワ紝鐢ㄤ簬濉戦€犮€佹⒊鐞嗗拰鎺у埗娼滃湪琛ㄥ緛鐨勫�閲忋€傛垜灏嗕笓娉ㄤ簬杩炵画鎯呭喌锛屼絾鍏朵腑璁稿�鑰冭檻鍚屾牱閫傜敤浜庣�鏁ｆ綔鍦ㄨ〃寰併€�
VQGAN 涓� KL 姝ｅ垯鍖栨綔鍙橀噺
Rombach 绛変汉鎻愬嚭浜嗕袱绉嶉拡瀵硅繛缁�綔鍦ㄧ┖闂寸殑姝ｅ垯鍖栫瓥鐣ワ細
閬靛惊鍘熷� VQGAN 鐨勮�璁＄悊蹇碉紝骞跺皢閲忓寲姝ラ�閲嶆柊瑙ｉ噴涓鸿В鐮佸櫒鐨勪竴閮ㄥ垎锛堣€岄潪缂栫爜鍣ㄧ殑涓€閮ㄥ垎锛夛紝浠庤€岃幏寰楄繛缁�綔鍦ㄨ〃寰侊紙鍗� VQ 姝ｅ垯鍖栵紝VQ-reg锛夛紱瀹屽叏绉婚櫎 VQGAN 涓�殑閲忓寲鎿嶄綔锛岃浆鑰屽儚鏍囧噯鍙樺垎鑷�紪鐮佸櫒锛圴ariational Autoencoder锛孷AE锛夐偅鏍峰紩鍏� KL 鏁ｅ害鎯╃綒椤癸紙鍗� KL 姝ｅ垯鍖栵紝KL-reg锛夈€�
杩欑�鍙�� VQGAN 浣滃嚭鏈€灏忔敼鍔ㄣ€佷互閫傞厤鎵╂暎妯″瀷锛圖iffusion Model锛夎€岀敓鎴愯繛缁�綔鍙橀噺鐨勬€濊矾鍙�皳宸у�锛氭�绫荤粨鏋勫湪鑷�洖褰掓ā鍨嬶紙Autoregressive Model锛変腑琛ㄧ幇鑹�ソ锛岃€岃�缁冭繃绋嬩腑鐨勯噺鍖栨�楠や篃璧峰埌浜嗘煇绉嶃€屽畨鍏ㄩ榾銆嶄綔鐢�紝闃叉�娼滃彉閲忔惡甯﹁繃澶氱殑淇℃伅銆�
鐒惰€岋紝姝ｅ�鎴戜滑涔嬪墠鎵€璁ㄨ�鐨勶紝杩欑�鏈哄埗鍦ㄥ�鏁版儏鍐典笅鍙�兘骞堕潪鐪熸�蹇呰�锛屽洜涓虹紪鐮佸櫒鐨勮〃杈捐兘鍔涘線寰€鎵嶆槸鐢熸垚妯″瀷鎬ц兘鐨勭摱棰堟墍鍦ㄣ€�
鐩告瘮涔嬩笅锛孠L 姝ｅ垯鍖栨湰韬�槸浼犵粺 VAE 鏋舵瀯鐨勬牳蹇冪粍鎴愰儴鍒嗭細瀹冩槸鏋勬垚璇佹嵁涓嬬晫锛圗vidence Lower Bound锛孍LBO锛夌殑涓ら」鎹熷け涔嬩竴銆侲LBO 鏄��鏁版嵁浼肩劧鐨勪笅鐣岋紝鐢ㄤ簬闂存帴鍦般€佷絾鍦ㄦ暟鍊间笂鍙��鍦版渶澶у寲鏍锋湰鐨勫�鏁颁技鐒躲€傝�椤规�鍒欏寲榧撳姳娼滃彉閲忔湇浠庢煇涓€棰勮�鍏堥獙鍒嗗竷锛堥€氬父涓洪珮鏂�垎甯冿級銆�
浣嗗叧閿�湪浜庯紝ELBO 浠呭湪 KL 椤瑰墠鏈�紩鍏ョ缉鏀捐秴鍙傛暟锛坰cale parameter锛夌殑鍓嶆彁涓嬶紝鎵嶆槸鐪熸�鎰忎箟涓婄殑浼肩劧涓嬬晫銆傜劧鑰屽湪瀹為檯搴旂敤涓�紝涓轰簡璁�粌绋冲畾鎬у強閲嶅缓璐ㄩ噺鐨勮€冭檻锛孠L 姝ｅ垯椤瑰嚑涔庢€绘槸琚�ぇ骞呯缉鏀撅紙閫氬父缂╁皬鍑犱釜鏁伴噺绾э級锛岃繖鍑犱箮鍒囨柇浜嗗畠涓庡彉鍒嗘帹鏂�師濮嬭�澧冧箣闂寸殑鑱旂郴銆�
閫犳垚杩欎竴璋冩暣鐨勫師鍥犱篃寰堢洿鎺ワ細鏈�粡缂╂斁鐨� KL 椤瑰叿鏈夎繃寮虹殑闄愬埗浣滅敤锛屼細鏄捐憲鍘嬬缉娼滃湪绌洪棿鐨勫�閲忥紝缁ц€屼弗閲嶅奖鍝嶅浘鍍忛噸寤鸿川閲忋€傚嚭浜庡伐绋嬪彲琛屾€т笂鐨勮€冭檻锛屼笟鐣屾櫘閬嶇殑鍋氭硶鏄�樉钁楅檷浣庡叾鍦ㄦ€绘崯澶卞嚱鏁颁腑鐨勬潈閲嶃€�
锛堥『渚挎彁涓€涓嬶細鍦ㄦ煇浜涙洿鍏虫敞璇�箟鍙�В閲婃€ф垨娼滃彉閲忚В鑰︼紙disentanglement锛夎川閲忋€佽€岄潪閲嶅缓鏁堟灉鐨勪换鍔′腑锛屽�鍔� KL 鏉冮噸涔熸槸涓€绉嶆湁鏁堜笖甯歌�鐨勭瓥鐣ワ紝渚嬪� 尾-VAE锛夈€�
鎺ヤ笅鏉ュ睘浜庢槑鏄剧殑涓昏�瑙傜偣锛屼絾鎴戣�涓哄綋鍓嶅叧浜� KL 椤规晥鏋滅殑璁ㄨ�涓�繕瀛樺湪鐩稿綋澶氱殑 鈥滅�绉樺寲鎬濈淮鈥濄€備緥濡傦紝KL 椤硅�骞挎硾璁や负鑳藉紩瀵兼綔鍙橀噺鏈嶄粠楂樻柉鍒嗗竷 鈥斺€� 鐒惰€屽湪瀹為檯搴旂敤涓�殑缂╂斁鍥犲瓙涓嬶紝杩欎竴鏁堟灉寰�急鍒板嚑涔庡彲浠ュ拷鐣ャ€傚嵆浣挎槸鍦� 鈥滅湡姝ｇ殑鈥� VAE 涓�紝鎬讳綋鍚庨獙鍒嗗竷锛坅ggregate posterior锛変篃寰堝皯鍛堢幇鍑烘爣鍑嗛珮鏂�舰鎬併€�
鍥犳�锛屽湪鎴戠湅鏉ワ紝銆孷AE銆嶄腑閭ｄ釜銆孷銆嶏紙鍗� 銆孷ariational銆嶏紝鍙樺垎锛夊�浠婂嚑涔庡凡澶卞幓瀹炶川鎰忎箟 鈥斺€� 鍏跺瓨鍦ㄦ剰涔夋洿澶氭槸鍘嗗彶閬楃暀銆備笌鍏跺�姝わ紝鎴戜滑鍊掍笉濡傚皢杩欑被妯″瀷绉颁负銆孠L 姝ｅ垯鍖栬嚜缂栫爜鍣ㄣ€嶏紙KL-regularised autoencoders锛夛紝杩欏湪姒傚康涓婂�褰撳墠涓绘祦瀹炶返鏇磋创鍒囥€�
鍦ㄨ繖绉嶈�瀹氫笅锛孠L 椤规渶涓昏�鐨勪綔鐢�紝鏄�姂鍒舵綔鍙橀噺鍒嗗竷涓�殑绂荤兢鐐癸紝骞跺湪涓€瀹氱▼搴︿笂绾︽潫鍏舵暟鍊煎昂搴︺€傛崲鍙ヨ瘽璇达細灏界� KL 椤归€氬父琚�綋浣滈檺鍒舵綔鍙橀噺瀹归噺鐨勬満鍒舵潵闃愯堪锛屽叾鍦ㄧ幇瀹炰腑璧峰埌鐨勪綔鐢�紝鏇村�鏄��娼滃彉閲忓舰鐘剁殑杞诲害闄愬埗 鈥斺€� 鑰岃繖绉嶉檺鍒朵篃杩滄病鏈夋兂璞′腑閭ｄ箞寮恒€�
璋冩暣閲嶅缓鎹熷け
閲嶅缓鎹熷け鐨勩€屼笁浠跺�銆嶏紙鍗冲洖褰掓崯澶憋紙regression loss锛夈€佹劅鐭ユ崯澶憋紙perceptual loss锛変笌瀵规姉鎹熷け锛坅dversarial loss锛夛級鍦ㄦ渶澶х▼搴︽彁楂橀噸寤轰俊鍙疯川閲忔柟闈㈡棤鐤戝彂鎸ョ潃鍏抽敭浣滅敤銆�
鐒惰€岋紝鍊煎緱杩涗竴姝ョ爺绌剁殑鏄�紝杩欎簺鎹熷け椤瑰�浣曞奖鍝嶆綔鍦ㄥ彉閲忥紙latents锛夛紝鐗瑰埆鏄�湪銆屽唴瀹圭瓫閫夈€嶏紙curation锛屽嵆娼滃彉閲忓�浼氱紪鐮佸摢浜涗俊鎭�級鏂归潰鐨勪綔鐢ㄣ€傚�绗� 3 鑺傦紙涓轰粈涔堥渶瑕佷袱涓�樁娈碉紵锛夋墍璁ㄨ�鐨勶紝鍦ㄨ�瑙夐�鍩熶腑锛屼竴涓�壇濂界殑娼滃湪绌洪棿搴斿湪涓€瀹氱▼搴︿笂瀹炵幇瀵圭汗鐞嗙殑鎶借薄锛坅bstraction锛夈€傝繖浜涙崯澶辨槸濡備綍甯�姪瀹炵幇杩欎竴鐩�爣鐨勶紵
涓€涓�湁鍚�彂鎬х殑鎬濈淮瀹為獙鏄�紝鍋囪�鎴戜滑灏嗘劅鐭ユ崯澶卞拰瀵规姉鎹熷け鍘婚櫎锛屼粎淇濈暀鍥炲綊鎹熷け锛屽�浼犵粺鐨勫彉鍒嗚嚜缂栫爜鍣�紙VAE锛夋墍閲囩敤鐨勫仛娉曘€傝繖绉嶈�缃�€氬父浼氬�鑷存ā绯婄殑閲嶅缓缁撴灉銆傚洖褰掓崯澶卞湪璁捐�涓婁笉浼氬亸鍚戜簬鐗瑰畾绫诲瀷鐨勪俊鍙峰唴瀹癸紝鍥犳�鍦ㄥ浘鍍忎换鍔′腑锛屽線寰€浼氭洿鍏虫敞浜庝綆棰戜俊鎭�紝鍘熷洜浠呬粎鏄�繖绉嶄俊鎭�湪鍥惧儚涓�崰姣旇緝澶с€�
鍦ㄨ嚜鐒跺浘鍍忎腑锛屼笉鍚岀┖闂撮�鐜囩殑鑳介噺閫氬父涓庡叾棰戠巼鐨勫钩鏂规垚鍙嶆瘮 鈥斺€� 棰戠巼瓒婇珮锛岃兘閲忚秺灏忥紙鏈夊叧璇ョ幇璞＄殑鍥剧ず鍒嗘瀽锛岃�鍙傞槄鎴戝厛鍓嶇殑鍗氭枃锛夈€傜敱浜庨珮棰戞垚鍒嗗湪鎬讳俊鍙疯兘閲忎腑鎵€鍗犳瘮渚嬫瀬灏忥紝鍥犳�浣跨敤鍥炲綊鎹熷け鏃讹紝妯″瀷鏇村€惧悜浜庡噯纭�湴棰勬祴浣庨�鍒嗛噺锛岃€岄潪楂橀�閮ㄥ垎銆�
鐒惰€岋紝浠庝汉绫绘劅鐭ョ殑瑙掑害鐪嬶紝楂橀�淇℃伅鐨勪富瑙傞噸瑕佹€ц繙杩滈珮浜庡畠浠�湪淇″彿鑳介噺涓�墍鍗犵殑姣斾緥锛岃繖涔熷氨瀵艰嚧浜嗗ぇ瀹剁啛鐭ョ殑銆屾ā绯婃劅銆嶉噸寤虹粨鏋溿€�
鍥剧墖鏉ヨ嚜 VQGAN 璁烘枃銆備笌浠呬娇鐢ㄥ洖褰掓崯澶辫�缁冪殑 DALL-E VAE 鐨勫�姣斿睍绀轰簡鎰熺煡涓庡�鎶楁崯澶辨墍甯︽潵鐨勬樉钁楀奖鍝嶃€�
鐢变簬绾圭悊涓昏�鐢辫繖浜涢珮棰戞垚鍒嗘瀯鎴愶紝鑰屽洖褰掓崯澶卞嚑涔庡拷鐣ヨ繖浜涢珮棰戜俊鎭�紝鏈€缁堟垜浠�緱鍒扮殑娼滃湪绌洪棿涓嶄粎鏃犳硶鍋氬嚭绾圭悊鎶借薄锛屽弽鑰屾槸鐩存帴鎶瑰幓浜嗕笌绾圭悊鐩稿叧鐨勪俊鎭�€備粠鎰熺煡璐ㄩ噺鐨勮�搴﹁�锛岃繖鏄�竴绉嶅緢宸�殑娼滃湪绌洪棿缁撴瀯銆傝繖涔熺洿鎺ヨ�鏄庝簡鎰熺煡鎹熷け涓庡�鎶楁崯澶辩殑閲嶈�鎬э細瀹冧滑纭�繚娼滃湪鍙橀噺涓�兘澶熺紪鐮佷竴瀹氱殑绾圭悊淇℃伅銆�
鏃㈢劧鍥炲綊鎹熷け鍏锋湁涓婅堪杩欎簺涓嶇悊鎯崇殑鎬ц川锛屽苟涓斿線寰€闇€瑕佸叾浠栨崯澶遍」鏉ュ姞浠ュ讥琛ワ紝閭ｆ垜浠�槸鍚﹀彲浠ュ共鑴嗗皢鍏跺畬鍏ㄨ垗寮冨憿锛熶簨瀹炶瘉鏄庯紝杩欑�鍋氭硶涔熶笉鍙��銆傚洜涓烘劅鐭ユ崯澶变笌瀵规姉鎹熷け鐨勪紭鍖栬繃绋嬫洿涓哄�鏉傦紝涓斿�鏄撻櫡鍏ョ梾鎬佺殑灞€閮ㄦ渶浼樿В锛堟瘯绔燂紝杩欎簺鎹熷け閫氬父鏄�熀浜庨�璁�粌绁炵粡缃戠粶鏋勫缓鐨勶級銆傚湪璁�粌杩囩▼涓�紝鍥炲綊鎹熷け璧峰埌鏌愮�銆屾�鍒欏寲鍣ㄣ€嶇殑瑙掕壊锛屾寔缁�负浼樺寲杩囩▼鎻愪緵绾︽潫涓庢寚寮曪紝閬垮厤妯″瀷闄峰叆閿欒�鐨勫弬鏁扮┖闂淬€�
褰撳墠宸叉湁璇稿�绛栫暐灏濊瘯閲囩敤涓嶅悓褰㈠紡鐨勯噸寤烘崯澶憋紝浠ヤ笅浠呭垪涓鹃儴鍒嗘枃鐚�腑鐨勫疄渚嬶紝灞曠ず璇ユ柟鍚戠殑澶氭牱鎬э細
鍓嶆枃鎻愬埌鐨� DCAE46 妯″瀷锛屽叾鏂规硶鍦ㄦ暣浣撲笂涓庡師濮嬬殑 VQGAN 閰嶆柟宸�紓涓嶅ぇ锛屽彧鏄�皢 L2 鍥炲綊鎹熷け锛堝潎鏂硅�宸�紝MSE锛夋浛鎹�负 L1 鎹熷け锛堝钩鍧囩粷瀵硅�宸�紝MAE锛夈€傚畠渚濈劧淇濈暀浜� LPIPS 鎰熺煡鎹熷け锛圠earned Perceptual Image Patch Similarity锛変互鍙� PatchGAN49 鍒ゅ埆鍣ㄣ€傝�鏂规硶鐨勪笉鍚屼箣澶勫湪浜庡叾閲囩敤浜嗗�闃舵�璁�粌锛屼粎鍦ㄦ渶鍚庨樁娈靛惎鐢ㄥ�鎶楁崯澶便€俈iT-VQGAN50 妯″瀷缁撳悎浜嗕袱绉嶅洖褰掓崯澶憋細L2 鎹熷け涓� logit-Laplace 鎹熷け 51锛屽苟浣跨敤 StyleGAN52 鍒ゅ埆鍣ㄤ互鍙� LPIPS 鎰熺煡鎹熷け銆侺TX-Video44 妯″瀷寮曞叆浜嗕竴绉嶅熀浜庣�鏁ｅ皬娉㈠彉鎹�紙Discrete Wavelet Transform锛孌WT锛夌殑銆岃�棰戞劅鐭ユ崯澶便€嶏紝骞舵彁鍑轰簡鍏剁嫭鐗圭殑瀵规姉鎹熷け绛栫暐锛岀О涓� reconstruction-GAN銆�
姝ｅ�缁忓吀鑿滆偞鍗冧汉鍗冨懗锛屽湪杩欑�銆岄厤鏂广€嶉棶棰樹笂锛屾瘡浣嶇爺绌惰€呴兘鏈夊悇鑷�殑瑙ｆ硶锛�
琛ㄥ緛瀛︿範 vs 閲嶅缓
姝ゅ墠鎴戜滑鎺㈣�鐨勮�澶氳�璁￠€夋嫨锛屼笉浠呭奖鍝嶉噸寤鸿川閲忥紝鍚屾椂涔熸繁鍒诲奖鍝嶆墍瀛︿範鐨勬綔鍦ㄧ┖闂寸殑鎬ц川銆傚叾涓�紝閲嶅缓鎹熷け浜嬪疄涓婃壙鎷呬簡鍙岄噸浠诲姟锛氭棦淇濊瘉浜嗚В鐮佸櫒杈撳嚭鐨勯珮璐ㄩ噺锛屽張鍦ㄦ綔鍦ㄧ┖闂寸殑褰㈡垚涓�彂鎸ヤ簡鍏抽敭浣滅敤銆傝繖涓嶇�寮曞嚭涓€涓�棶棰橈細鍍忔垜浠�幇鍦ㄨ繖鏍枫€屼竴鐭充簩楦熴€嶇殑鍋氭硶锛岀湡鐨勫悎閫傚悧锛熸垜璁や负绛旀�鏄�惁瀹氱殑銆�
涓€鏂归潰锛屼负鐢熸垚寤烘ā锛坓enerative modelling锛夊�涔犲嚭鑹�ソ涓旂揣鍑戠殑琛ㄥ緛锛涘彟涓€鏂归潰锛屽皢杩欎竴琛ㄥ緛瑙ｇ爜鍥炲師濮嬭緭鍏ョ┖闂达紝杩欏叾瀹炴槸涓ら」鎴�劧涓嶅悓鐨勪换鍔°€傝€岀幇浠ｈ嚜鍔ㄧ紪鐮佸櫒閫氬父琚�湡鏈涜兘鍚屾椂瀹屾垚杩欎袱椤逛换鍔°€�
灏界�浠庡疄璺佃�搴︾湅锛岃繖绉嶅仛娉曟晥鏋滅浉褰撲笉閿欙紝鏃犵枒涔熺畝鍖栦簡娴佺▼锛堟瘯绔熻嚜鍔ㄧ紪鐮佸櫒璁�粌宸茬粡鏄�畬鏁寸郴缁熶腑绗�竴闃舵�鐨勮�缁冮儴鍒嗭紝鎴戜滑鑷�劧甯屾湜灏藉彲鑳介伩鍏嶈繘涓€姝ュ�鏉傚寲锛屽敖绠¤�缁冨�涓�樁娈电殑鑷�姩缂栫爜鍣ㄤ篃骞堕潪闂绘墍鏈�椈銆備絾杩欎竴鏂规硶瀹炲垯娣锋穯浜嗕袱涓�换鍔★紝鍏堕棿鏌愪簺閫傜敤浜庝竴涓�换鍔＄殑璁捐�锛屾垨璁稿湪鍙︿竴涓�换鍔′笂骞朵笉鐞嗘兂銆�
褰撹В鐮佸櫒閲囩敤鑷�洖褰掓灦鏋勬椂锛岃繖绉嶄换鍔″悎骞剁殑闂��灏や负绐佸嚭锛屽洜姝ゆ垜浠�彁鍑轰娇鐢ㄤ竴涓�嫭绔嬬殑闈炶嚜鍥炲綊锛坣on-autoregressive锛夎緟鍔╄В鐮佸櫒锛坅uxiliary decoder锛夋潵涓虹紪鐮佸櫒鎻愪緵瀛︿範淇″彿銆�
涓昏В鐮佸櫒锛坢ain decoder锛夊垯瀹屽叏涓嶄細褰卞搷娼滃湪琛ㄥ緛锛屽洜涓哄叾姊�害鍦ㄨ�缁冧腑涓嶄細鍙嶄紶鑷崇紪鐮佸櫒銆傝繖浣垮叾涓撴敞浜庝紭鍖栭噸寤鸿川閲忥紝鑰岃緟鍔╄В鐮佸櫒鍒欐壙鎷呰捣娼滃湪绌洪棿鐨勫�閫犱换鍔°€傛暣涓�嚜鍔ㄧ紪鐮佸櫒鍚勭粍浠朵粛鍙�仈鍚堣�缁冿紝鍥犳�澧炲姞鐨勮�缁冨�鏉傚害闈炲父鏈夐檺銆傝櫧鐒惰緟鍔╄В鐮佸櫒浼氬�鍔犺�缁冩垚鏈�紝浣嗗畠鍦ㄨ�缁冨畬鎴愬悗鍗冲彲琚�垗寮冦€�
杩欑�甯︽湁涓や釜瑙ｇ爜鍣ㄧ殑鑷�姩缂栫爜鍣ㄧ粨鏋勪腑锛氫富瑙ｇ爜鍣ㄤ粎鐢ㄤ簬閲嶅缓锛屽叾姊�害涓嶅洖浼犲埌缂栫爜鍣�紙閫氬父鎴戜滑鐢ㄨ櫄绾挎潵琛ㄧず杩欎竴鐐癸級杈呭姪瑙ｇ爜鍣ㄥ垯涓撴敞浜庢瀯寤烘綔鍦ㄧ┖闂达紝瀹冨彲浠ラ噰鐢ㄤ笉鍚岀殑鏋舵瀯銆佷紭鍖栦笉鍚岀殑鎹熷け鍑芥暟锛屾垨鑰呬袱鑰呭吋鑰屾湁涔嬨€�
灏界�鎴戜滑鍦ㄩ偅绡囪�鏂囦腑浣跨敤鑷�洖褰掕В鐮佸櫒鏉ュ�鐞嗗儚绱犵┖闂寸殑鎯虫硶锛屽�浠婂凡缁忎笉鍐嶉€傜敤锛堝彲浠ヨ�寰堜笉鍚堟椂瀹滐級锛屼絾鎴戜粛鐒剁浉淇″皢琛ㄥ緛瀛︿範涓庨噸寤轰换鍔″垎寮€鐨勮繖涓€绛栫暐鍦ㄥ綋鍓嶄粛鍏锋湁楂樺害鐩稿叧鎬с€�
涓€涓�緟鍔╄В鐮佸櫒锛屽�鏋滃畠浼樺寲鐨勬槸鍙︿竴绉嶆崯澶憋紝鎴栬€呴噰鐢ㄤ簡涓庝富瑙ｇ爜鍣ㄤ笉鍚岀殑鏋舵瀯锛堟姂鎴栦袱鑰呭吋鍏凤級锛屽氨鍙�兘涓鸿〃寰佸�涔犳彁渚涙洿鏈夋晥鐨勮�缁冧俊鍙凤紝浠庤€屽甫鏉ユ洿浼樼殑鐢熸垚寤烘ā鏁堟灉銆�
Zhu 绛変汉鏈€杩戜篃寰楀嚭浜嗗悓鏍风殑缁撹�锛堣�鍏惰�鏂囩� 2.1 鑺傦級锛屼粬浠�娇鐢� K-means 瀵� DINOv2 鎻愬彇鐨勭壒寰佽繘琛岀�鏁ｅ寲寤烘ā锛屽苟缁撳悎涓€涓�崟鐙��缁冪殑瑙ｇ爜鍣ㄣ€傚湪鐢熸垚寤烘ā涓��鐢ㄨ嚜鐩戠潱瀛︿範锛坰elf-supervised learning锛夊緱鍒扮殑琛ㄥ緛锛岃繖涓€鎬濊矾鍦ㄩ煶棰戝缓妯￠�鍩熸棭宸茶緝涓烘櫘閬� 鈥斺€� 鍙�兘鏄�洜涓洪煶棰戦�鍩熺爺绌惰€呭師鏈�氨涔犳儻浜庤�缁冨０鐮佸櫒锛坴ocoder锛夛紝灏嗛�瀹氫箟鐨勪腑闂磋〃寰侊紙渚嬪�姊呭皵棰戣氨鍥撅級杞�崲鍥炴尝褰�俊鍙枫€�
閫氳繃姝ｅ垯鍖栨彁鍗囨ā鍨嬭兘鍔�
瀵规綔鍦ㄥ彉閲忓�閲忕殑濉戦€犮€佹⒊鐞嗗拰闄愬埗閮戒細褰卞搷鍏跺彲寤烘ā鎬э細
瀹归噺闄愬埗鍐冲畾浜嗘綔鍦ㄥ彉閲忎腑鐨勪俊鎭�噺銆傚�閲忚秺楂橈紝鐢熸垚妯″瀷灏卞繀椤昏秺寮哄ぇ锛屾墠鑳藉厖鍒嗘崟鎹夊叾鍖呭惈鐨勬墍鏈変俊鎭�紱濉戦€犲�浜庡疄鐜伴珮鏁堝缓妯¤嚦鍏抽噸瑕併€傜浉鍚岀殑淇℃伅鍙�互鐢ㄥ�绉嶄笉鍚岀殑鏂瑰紡琛ㄥ緛锛屾湁浜涙柟寮忔瘮鍏朵粬鏂瑰紡鏇村�鏄撳缓妯°€傜缉鏀惧拰鏍囧噯鍖栧�浜庢�纭�缓妯¤嚦鍏抽噸瑕侊紙灏ゅ叾鏄��浜庢墿鏁ｆā鍨嬭€岃█锛夛紝浣嗛珮闃剁粺璁￠噺鍜岀浉鍏崇粨鏋勪篃鍚屾牱閲嶈�锛涙⒊鐞嗕細褰卞搷鍙�缓妯℃€э紝鍥犱负鏌愪簺绫诲瀷鐨勪俊鎭�瘮鍏朵粬绫诲瀷鐨勪俊鎭�洿瀹规槗寤烘ā銆傚�鏋滄綔鍦ㄥ彉閲忕紪鐮佷簡杈撳叆淇″彿涓�笉鍙��娴嬬殑鍣�０淇℃伅锛岄偅涔堝畠浠�殑鍙��娴嬫€т篃浼氶檷浣庛€�
浠ヤ笅鏄�竴鏉℃湁瓒ｇ殑鎺ㄦ枃锛屽睍绀轰簡杩欏�浣曞奖鍝嶇ǔ瀹氭墿鏁� XL VAE锛�
鍥炬簮锛歨ttps://x.com/rgilman33/status/1911712029443862938
鍦ㄨ繖閲岋紝鎴戞兂灏嗗叾涓� Xu et al. 鎻愬嚭鐨� V-information 鑱旂郴璧锋潵锛屽畠鎵╁睍浜嗕簰淇℃伅鐨勬�蹇碉紝浣垮叾鑳藉�鑰冭檻璁＄畻绾︽潫銆傛崲鍙ヨ瘽璇达紝淇℃伅鐨勫彲鐢ㄦ€у彇鍐充簬瑙傚療鑰呰鲸鍒�俊鎭�殑璁＄畻闅惧害锛屾垜浠�彲浠ュ皾璇曢噺鍖栬繖涓€鐐广€傚�鏋滀竴鏉′俊鎭�渶瑕佸己澶х殑绁炵粡缃戠粶鏉ユ彁鍙栵紝閭ｄ箞杈撳叆涓�殑 V-information 閲忓氨浼氫綆浜庝娇鐢ㄧ畝鍗曠嚎鎬ф帰娴嬬殑鎯呭喌 鈥斺€� 鍗充娇浠ユ瘮鐗逛负鍗曚綅鐨勭粷瀵逛俊鎭�噺鐩稿悓銆�
鏄剧劧锛屾渶澶у寲娼滃湪琛ㄥ緛鐨� V-information 閲忔槸鍙�彇鐨勶紝浠ヤ究鏈€澶ч檺搴﹀湴闄嶄綆鐢熸垚妯″瀷鐞嗚В娼滃湪琛ㄥ緛鎵€闇€鐨勮�绠楅渶姹傘€傛垜涔嬪墠鎻愬埌鐨� Tschannen et al. 鎻忚堪鐨勯€熺巼 - 澶辩湡 - 瀹炵敤鎬ф潈琛′篃鏀�寔鍚屾牱鐨勭粨璁恒€�
濡傚墠鎵€杩帮紝KL 鎯╃綒瀵归珮鏂�寲鎴栧钩婊戞綔鍦ㄧ┖闂寸殑浣滅敤鍙�兘涓嶅�璁稿�浜鸿�涓虹殑閭ｄ箞澶с€傞偅涔堬紝鎴戜滑鍙�互鍋氫簺浠€涔堟潵浣挎綔鍦ㄦā鍨嬫洿瀹规槗寤烘ā鍛�紵
浣跨敤鐢熸垚鍏堥獙锛氫笌鑷�姩缂栫爜鍣ㄥ叡鍚岃�缁冧竴涓�紙杞婚噺绾э級娼滃湪鐢熸垚妯″瀷锛屽苟閫氳繃灏嗙敓鎴愭崯澶卞弽鍚戜紶鎾�埌缂栫爜鍣ㄤ腑锛屼娇娼滃湪妯″瀷鏄撲簬寤烘ā锛屽氨鍍忓湪 LARP 鎴� CRT 涓�竴鏍枫€傝繖闇€瑕佷粩缁嗚皟鏁存崯澶辨潈閲嶏紝鍥犱负鐢熸垚鎹熷け鍜岄噸鏋勬崯澶辩浉浜掔煕鐩撅細褰撴綔鍦ㄦā鍨嬪畬鍏ㄤ笉缂栫爜浠讳綍淇℃伅鏃讹紝瀹冧滑鏈€瀹规槗寤烘ā锛佷娇鐢ㄩ�璁�粌鐨勮〃寰佽繘琛岀洃鐫ｏ細榧撳姳娼滃湪妯″瀷瀵圭幇鏈夐珮璐ㄩ噺琛ㄥ緛锛堜緥濡� DINOv2 鐗瑰緛锛夎繘琛岄�娴嬶紝灏卞儚鍦� VA-VAE銆丮AETok 鎴� GigaTok 涓�竴鏍枫€傞紦鍔辩瓑鍙樻€э細浣胯緭鍏ョ殑鏌愪簺鍙樻崲锛堜緥濡傞噸缂╂斁銆佹棆杞�級浜х敓鐩稿簲鐨勬綔鍦ㄨ〃寰侊紝杩欎簺琛ㄥ緛涔熻繘琛岀被浼煎彉鎹�紝灏卞儚鍦� AuraEquiVAE銆丒Q-VAE 鍜� AF-VAE 涓�竴鏍枫€傛垜鍦ㄧ� 4 閮ㄥ垎涓�娇鐢ㄧ殑 EQ-VAE 璁烘枃涓�殑鍥捐〃灞曠ず浜嗚繖绉嶇害鏉熷�娼滃湪绌洪棿鐨勭┖闂村钩婊戝害浜х敓鐨勬繁杩滃奖鍝嶃€係korokhodov et al. 鍩轰簬娼滃湪绌洪棿鐨勮氨鍒嗘瀽寰楀嚭浜嗙浉鍚岀殑缁撹�锛氱瓑鍙樻€ф�鍒欏寲浣挎綔鍦ㄨ氨涓庡儚绱犵┖闂磋緭鍏ョ殑璋辨洿鐩镐技锛屼粠鑰屾彁楂樹簡鍙�缓妯℃€с€�
杩欏彧鏄�竴浜涘彲鑳界殑姝ｅ垯鍖栫瓥鐣ョ殑涓€灏忛儴鍒嗭紝鎵€鏈夎繖浜涚瓥鐣ラ兘璇曞浘浠ユ煇绉嶆柟寮忓�鍔犳綔鍦ㄥ悜閲忕殑 V-information銆�
鍚戜笅鎵╂暎
涓€绫荤敤浜庡�涔犳綔鍦ㄨ〃寰佺殑鑷�紪鐮佸櫒鍊煎緱娣卞叆鐮旂┒锛氬甫鏈夋墿鏁ｈВ鐮佸櫒鐨勮嚜缂栫爜鍣ㄣ€傝櫧鐒舵洿鍏稿瀷鐨勮В鐮佸櫒鏋舵瀯閲囩敤鍓嶉�缃戠粶锛岃�缃戠粶鍦ㄤ竴娆″墠鍚戜紶閫掍腑鐩存帴杈撳嚭鍍忕礌鍊硷紝骞朵笖閲囩敤瀵规姉寮忚�缁冿紝浣嗕竴绉嶈秺鏉ヨ秺娴佽�鐨勬浛浠ｆ柟妗堟槸浣跨敤鎵╂暎鏉ュ畬鎴愭綔鍦ㄨВ鐮佷换鍔′互鍙婂�娼滃湪琛ㄥ緛鐨勫垎甯冭繘琛屽缓妯°€傝繖涓嶄粎浼氬奖鍝嶉噸鏋勮川閲忥紝杩樹細褰卞搷瀛︿範鍒扮殑琛ㄥ緛绫诲瀷銆�
SWYCC銆佅�-VAE 鍜� DiTo 鏄�繎鏈熶竴浜涙帰绱㈣繖绉嶆柟娉曠殑鐮旂┒鎴愭灉锛屽畠浠�粠鍑犱釜涓嶅悓鐨勮�搴﹂槓杩颁簡杩欎竴鏂规硶锛�
浣跨敤鎵╂暎瑙ｇ爜鍣ㄥ�涔犵殑娼滃湪鐗瑰緛鎻愪緵浜嗕竴绉嶆洿鍏峰師鍒欐€с€佺悊璁哄熀纭€鐨勫眰绾х敓鎴愬缓妯℃柟娉曪紱瀹冧滑鍙�互浠呬娇鐢� MSE 鎹熷け杩涜�璁�粌锛岃繖绠€鍖栦簡杩囩▼骞舵彁楂樹簡椴佹�鎬э紙姣曠珶瀵规姉鎬ф崯澶辩殑璋冩暣鐩稿綋妫樻墜锛夛紱灏嗚凯浠ｆ敼杩涚殑鍘熺悊搴旂敤浜庤В鐮佸彲浠ユ彁楂樿緭鍑鸿川閲忋€�
鎴戞棤娉曞弽椹宠繖浜涜�鐐癸紝浣嗘垜纭�疄鎯虫寚鍑烘墿鏁ｈВ鐮佸櫒鐨勪竴涓�樉钁楀急鐐癸細瀹冧滑鐨勮�绠楁垚鏈�強鍏跺�瑙ｇ爜鍣ㄥ欢杩熺殑褰卞搷銆傛垜璁や负锛岀洰鍓嶅ぇ澶氭暟鍟嗕笟閮ㄧ讲鐨勬墿鏁ｆā鍨嬮兘鏄�綔鍦ㄦā鍨嬬殑涓€涓�叧閿�師鍥犳槸锛氱揣鍑戠殑娼滃湪琛ㄥ緛鏈夊姪浜庢垜浠�伩鍏嶅湪杈撳叆绌洪棿杩涜�杩�唬缁嗗寲锛岃€岃繖绉嶅仛娉曟棦鎱㈠張璐点€傚湪娼滃湪绌洪棿涓�墽琛岃凯浠ｉ噰鏍疯繃绋嬶紝鐒跺悗鍦ㄦ渶鍚庨€氳繃涓€娆″墠鍚戜紶鎾�洖鍒拌緭鍏ョ┖闂达紝閫熷害瑕佸揩寰楀�銆傝€冭檻鍒拌繖涓€鐐癸紝鍦ㄦ垜鐪嬫潵锛屽湪瑙ｇ爜浠诲姟涓�噸鏂板紩鍏ヨ緭鍏ョ┖闂磋凯浠ｇ粏鍖栵紝鍦ㄥ緢澶х▼搴︿笂杩濊儗浜嗕袱闃舵�鏂规硶鐨勫垵琛枫€傚�鏋滄垜浠��浠樺嚭杩欐牱鐨勪唬浠凤紝涓嶅Θ閫夋嫨涓€浜涚畝鍗曠殑鎵╂暎鏂规硶鏉ユ墿灞曞崟闃舵�鐢熸垚妯″瀷銆�
浣犲彲鑳戒細璇达紝鍒�€� 鈥斺€� 鎴戜滑闅鹃亾涓嶈兘浣跨敤浼楀�鎵╂暎钂搁�鏂规硶鏉ュ噺灏戞墍闇€鐨勬�楠ゆ暟鍚楋紵鍦ㄨ繖鏍风殑璁剧疆涓�紝鐢变簬鍏锋湁闈炲父涓板瘜鐨勬潯浠朵俊鍙凤紙鍗虫綔鍦ㄨ〃寰侊級锛岃繖浜涙柟娉曠‘瀹炶�璇佹槑鏄�湁鏁堢殑锛岀敋鑷冲湪鍗曟�閲囨牱鏈哄埗涓嬩篃鏄��姝わ細鏉′欢瓒婂己锛岃幏寰楅珮璐ㄩ噺钂搁�缁撴灉鎵€闇€鐨勬�楠ゅ氨瓒婂皯銆�
DALL-E 3 鐨勪竴鑷存€цВ鐮佸櫒灏辨槸涓€涓�緢濂界殑瀹炶返妗堜緥锛氫粬浠�噸鐢ㄤ簡绋冲畾鎵╂暎娼滃湪绌洪棿锛屽苟璁�粌浜嗕竴涓�熀浜庢墿鏁ｇ殑鏂拌В鐮佸櫒锛岀劧鍚庨€氳繃涓€鑷存€ц捀棣忓皢鍏剁簿绠€涓轰粎涓や釜閲囨牱姝ラ�銆傝櫧鐒跺湪寤惰繜鏂归潰锛屽畠鐨勫紑閿€浠嶇劧姣斿師濮嬪�鎶楄В鐮佸櫒鏇撮珮锛屼絾杈撳嚭鐨勮�瑙変繚鐪熷害寰楀埌浜嗘樉钁楁彁鍗囥€�
DALL-E 3 鍩轰簬 Stable Diffusion 娼滃湪绌洪棿鐨勪竴鑷存€цВ鐮佸櫒鏄捐憲鎻愰珮浜嗚�瑙変繚鐪熷害锛屼絾浠ｄ环鏄�欢杩熸洿楂樸€�
Music2Latent 鏄�繖绉嶆柟娉曠殑鍙︿竴涓�緥瀛愶紝瀹冨熀浜庨煶涔愰煶棰戠殑澹拌氨鍥捐〃寰佽繘琛屾搷浣溿€傚畠浠�殑鑷�紪鐮佸櫒甯︽湁涓€鑷存€цВ鐮佸櫒锛岄噰鐢ㄧ�鍒扮�璁�粌锛堜笉鍚屼簬 DALL-E 3 鐨勮嚜缂栫爜鍣�紝鍚庤€呭�鐢ㄤ簡棰勮�缁冪殑缂栫爜鍣�級锛屽苟涓旇兘澶熶竴姝ョ敓鎴愰珮淇濈湡杈撳嚭銆傝繖鎰忓懗鐫€瑙ｇ爜杩囩▼鍐嶆�鍙�渶瑕佷竴娆″墠鍚戜紶閫掞紝灏卞儚瀵规姉鎬цВ鐮佸櫒涓€鏍枫€�
FlowMo 鏄�竴娆惧甫鏈夋墿鏁ｈВ鐮佸櫒鐨勮嚜缂栫爜鍣�紝瀹冧娇鐢ㄥ悗璁�粌闃舵�鏉ラ紦鍔辨ā寮忔悳绱㈣�涓恒€傚�鍓嶆墍杩帮紝瀵逛簬瑙ｇ爜娼滃湪琛ㄥ緛鐨勪换鍔★紝涓㈠け妯℃€佷互鍙婁笓娉ㄤ簬鐪熷疄鎬ц€岄潪澶氭牱鎬у疄闄呬笂鏄�彲鍙栫殑锛屽洜涓哄畠闇€瑕佺殑妯″瀷瀹归噺杈冨皯锛屽苟涓斾笉浼氬�鎰熺煡璐ㄩ噺浜х敓璐熼潰褰卞搷銆傚�鎶楁€ф崯澶卞線寰€浼氬�鑷存ā鎬佷涪澶憋紝浣嗗熀浜庢墿鏁ｇ殑鎹熷け鍒欎笉浼氥€傝繖绉嶄袱闃舵�璁�粌绛栫暐浣挎墿鏁ｈВ鐮佸櫒鑳藉�妯℃嫙杩欑�琛屼负 鈥斺€� 灏界�浠嶇劧闇€瑕佸ぇ閲忕殑閲囨牱姝ラ�锛屽洜姝よ�绠楁垚鏈�繙楂樹簬鍏稿瀷鐨勫�鎶楁€цВ鐮佸櫒銆�
涓€浜涙棭鏈熷叧浜庢墿鏁ｈ嚜缂栫爜鍣ㄧ殑鐮旂┒锛屼緥濡� Diff-AE 鍜� DiffuseVAE锛屾洿渚ч噸浜庡�涔犵被浼间簬鑰佸紡 VAE 鐨勯珮绾ц�涔夎〃寰侊紝娌℃湁鎷撴墤缁撴瀯锛屽苟涓旀敞閲嶅彲鎺ф€у拰瑙ｈ€︺€侱isCo-Diff 浠嬩簬涓よ€呬箣闂达紝瀹冨埄鐢ㄤ竴绯诲垪绂绘暎娼滃湪琛ㄥ緛鏉ュ�寮烘墿鏁ｆā鍨嬶紝杩欎簺娼滃湪琛ㄥ緛鍙�互閫氳繃鑷�洖褰掑厛楠屽缓妯°€�
娑堥櫎瀵规姉璁�粌鐨勫繀瑕佹€ф棤鐤戜細绠€鍖栦簨鎯咃紝鍥犳�鎵╂暎鑷�紪鐮佸櫒鍦ㄨ繖鏂归潰鏄�竴涓�湁瓒ｏ紙鏈€杩戜篃鐩稿綋娴佽�锛夌殑鐮旂┒棰嗗煙銆傜劧鑰岋紝鍦ㄥ欢杩熸柟闈�紝涓庡�鎶楁€цВ鐮佸櫒绔炰簤浼间箮棰囧叿鎸戞垬鎬э紝鎵€浠ユ垜璁や负鎴戜滑杩樻病鏈夊噯澶囧ソ鏀惧純瀹冧滑銆傛垜闈炲父鏈熷緟涓€涓�洿鏂扮殑鏂规�锛氬畠涓嶉渶瑕佸�鎶楁€ц�缁冿紝浣嗗湪瑙嗚�璐ㄩ噺鍜屽欢杩熸柟闈㈠嵈鑳戒笌褰撳墠鐨勫�鎶楄В鐮佸櫒鐩稿�缇庯紒
缃戞牸缁熸不涓€鍒�
鎰熺煡妯℃€佺殑鏁板瓧琛ㄥ緛閫氬父閲囩敤缃戞牸缁撴瀯锛屽洜涓哄畠浠�槸搴曞眰鐗╃悊淇″彿鐨勫潎鍖€閲囨牱锛堝拰閲忓寲锛夌増鏈�€傚浘鍍忎骇鐢熶簩缁村儚绱犵綉鏍硷紝瑙嗛�浜х敓涓夌淮缃戞牸锛岄煶棰戜俊鍙蜂骇鐢熶竴缁寸綉鏍硷紙鍗冲簭鍒楋級銆傚潎鍖€閲囨牱鎰忓懗鐫€鐩搁偦缃戞牸浣嶇疆涔嬮棿瀛樺湪鐫€鍥哄畾鐨勯噺瀛愶紙鍗宠窛绂绘垨鑰呮椂闂撮噺锛夈€�
浠庣粺璁℃剰涔変笂璁诧紝鎰熺煡淇″彿鍦ㄦ椂闂村拰绌洪棿涓婁篃瓒嬩簬杩戜技骞崇ǔ銆備笌鍧囧寑閲囨牱鐩哥粨鍚堬紝杩欎骇鐢熶簡涓板瘜鐨勬嫇鎵戠粨鏋勶紝鎴戜滑鍦ㄨ�璁＄敤浜庡�鐞嗗畠浠�殑绁炵粡缃戠粶鏋舵瀯鏃朵細鍏呭垎鍒╃敤杩欑�缁撴瀯锛氫娇鐢ㄥ箍娉涚殑鏉冮噸鍏变韩鏉ュ埄鐢ㄤ笉鍙樻€у拰绛夊彉鎬х瓑鐗规€э紝杩欎簺鐗规€ч€氳繃鍗风Н銆佸惊鐜�拰娉ㄦ剰鍔涙満鍒舵潵瀹炵幇銆�
姣�棤鐤戦棶锛屽�缃戞牸缁撴瀯鐨勫埄鐢ㄦ�鏄�垜浠�兘澶熸瀯寤哄�姝ゅ己澶х殑鏈哄櫒瀛︿範妯″瀷鐨勫叧閿�師鍥犱箣涓€銆傜敱姝ゆ帹璁猴紝鍦ㄨ�璁℃綔鍦ㄧ┖闂存椂淇濈暀杩欑�缁撴瀯鏄�竴涓�粷浣崇殑涓绘剰銆傛垜浠�渶寮哄ぇ鐨勭�缁忕綉缁滆�璁″湪鏋舵瀯涓婁緷璧栦簬瀹冿紝鍥犱负瀹冧滑鏈€鍒濆氨鏄�负鐩存帴澶勭悊杩欎簺鏁板瓧淇″彿鑰屾瀯寤虹殑銆傚�鏋滄綔鍦ㄨ〃寰佸叿鏈夌浉鍚岀殑缁撴瀯锛屽畠浠�皢鏇存搮闀垮�鐞嗚繖浜涜〃寰併€�
缃戞牸缁撴瀯涔熶负瀛︿範鐢熸垚娼滃湪绌洪棿鐨勮嚜缂栫爜鍣ㄥ甫鏉ヤ簡鏄捐憲鐨勪紭鍔匡細鐢变簬骞崇ǔ鎬э紝骞朵笖瀹冧滑鍙�渶瑕佸�涔犲眬閮ㄤ俊鍙风粨鏋勶紝鍥犳�鍙�互鍦ㄨ緝灏忕殑瑁佸壀鍥惧儚鎴栬緭鍏ヤ俊鍙风墖娈典笂杩涜�璁�粌銆傚�鏋滄垜浠�柦鍔犳�纭�殑鏋舵瀯绾︽潫锛堥檺鍒剁紪鐮佸櫒鍜岃В鐮佸櫒涓�瘡涓�綅缃�殑鎰熷彈閲庯級锛屽畠浠�皢鑳藉�寮€绠卞嵆鐢ㄥ湴娉涘寲鍒版瘮璁�粌鏃舵洿澶х殑缃戞牸銆傝繖鏈夊彲鑳藉ぇ澶ч檷浣庣�涓€闃舵�鐨勮�缁冩垚鏈�€�
鐒惰€岋紝浜嬫儏骞堕潪鎬绘槸閭ｄ箞缇庡ソ锛氭垜浠�凡缁忚�璁鸿繃鎰熺煡淇″彿鏄��浣曢珮搴﹀啑浣欑殑锛岄仐鎲剧殑鏄�紝杩欑�鍐椾綑鍒嗗竷涓嶅潎銆備俊鍙风殑鏌愪簺閮ㄥ垎鍙�兘鍖呭惈澶ч噺鎰熺煡涓婃樉钁楃殑缁嗚妭锛岃€屽叾浠栭儴鍒嗗垯鍑犱箮娌℃湁淇℃伅銆傚湪鎴戜滑涔嬪墠浣跨敤鐨勭敯閲庨噷鐙楃殑鍥惧儚涓�紝鑰冭檻涓€涓�互鐙楃殑澶撮儴涓轰腑蹇冪殑 100脳100 鍍忕礌鍧楋紝鐒跺悗灏嗗叾涓庡浘鍍忓彸涓婅�浠呭寘鍚�摑澶╃殑 100脳100 鍍忕礌鍧楄繘琛屾瘮杈冦€�
鐢伴噹閲岀殑鐙楃殑鍥惧儚锛屽叾涓�獊鍑烘樉绀轰簡涓や釜鍏锋湁涓嶅悓鍐椾綑搴︾殑 100脳100 鍍忕礌鍧椼€�
濡傛灉鎴戜滑鏋勫缓涓€涓�户鎵胯緭鍏ヤ簩缁寸綉鏍肩粨鏋勭殑娼滃湪琛ㄥ緛锛屽苟鐢ㄥ畠鏉ョ紪鐮佽繖骞呭浘鍍忥紝鍒欏繀鐒朵細浣跨敤瀹屽叏鐩稿悓鐨勫�閲忔潵缂栫爜杩欎袱涓�浘鍍忓潡銆傚�鏋滄垜浠��琛ㄥ緛瓒冲�涓板瘜锛岃兘澶熸崟鎹夊埌鐙楀ご鎵€鏈夌浉鍏崇殑鎰熺煡缁嗚妭锛岄偅涔堝皢娴�垂澶ч噺瀹归噺鏉ョ紪鐮佺被浼煎ぇ灏忕殑澶╃┖鍥惧儚鍧椼€傛崲鍙ヨ瘽璇达紝淇濈暀缃戞牸缁撴瀯浼氭樉钁楅檷浣庢綔鍦ㄨ〃寰佺殑鏁堢巼銆�
杩欏氨鏄�垜鎵€璇寸殑銆岀綉鏍肩粺娌讳竴鍒囥€嶏細鎴戜滑鐢ㄧ�缁忕綉缁滃�鐞嗙綉鏍肩粨鏋勬暟鎹�殑鑳藉姏宸茬粡闈炲父鎴愮啛锛屽亸绂昏繖绉嶇粨鏋勪細澧炲姞澶嶆潅鎬э紝浣垮缓妯′换鍔″彉寰楁洿鍔犲洶闅撅紝骞朵笖瀵圭‖浠剁殑鍏煎�鎬т篃鏇村樊锛屾墍浠ラ€氬父涓嶄細杩欐牱鍋氥€備絾灏辩紪鐮佹晥鐜囪€岃█锛岃繖瀹為檯涓婄浉褰撴氮璐癸紝鍥犱负瑙嗗惉淇″彿涓�劅鐭ユ樉钁楃殑淇℃伅鍒嗗竷骞朵笉鍧囧寑銆�
Transformer 鏋舵瀯瀹為檯涓婄浉瀵归€傚悎瀵规姉杩欑�缁熸不锛氳櫧鐒舵垜浠�€氬父灏嗗叾瑙嗕负搴忓垪妯″瀷锛屼絾瀹冨疄闄呬笂鏄�负澶勭悊闆嗗€硷紙set-valued锛夋暟鎹�€岃�璁＄殑锛屼换浣曞皢闆嗗悎鍏冪礌鐩镐簰鍏宠仈鐨勯檮鍔犳嫇鎵戠粨鏋勯兘閫氳繃浣嶇疆缂栫爜鏉ヨ〃杈俱€傝繖浣垮緱鍋忕�甯歌�缃戞牸缁撴瀯姣斿嵎绉�垨寰�幆鏋舵瀯鏇翠负瀹炵敤銆傚嚑骞村墠锛屾垜鍜屽悓浜嬫帰绱�簡浣跨敤鍙�彉閫熺巼绂绘暎琛ㄥ緛杩涜�璇�煶鐢熸垚鐨勮繖涓�兂娉曘€傚湪涓ら樁娈电敓鎴愭ā鍨嬬殑鑳屾櫙涓嬶紝鏀炬澗娼滃湪绌洪棿鐨勬嫇鎵戠粨鏋勪技涔庢渶杩戣秺鏉ヨ秺鍙楀埌鍏虫敞锛屽寘鎷��涓嬶細
TiTok 鍜� FlowMo 浠庡浘鍍忎腑瀛︿範搴忓垪缁撴瀯鍖栫殑娼滃湪琛ㄥ緛锛屽皢缃戞牸缁村害浠庝簩缁撮檷浣庡埌涓€缁淬€傚ぇ鍨嬭�瑷€妯″瀷鐨勫彂灞曚负鎴戜滑甯︽潵浜嗘瀬鍏跺己澶х殑搴忓垪妯″瀷锛屽洜姝よ繖鏄�竴绉嶅悎鐞嗙殑鐩�爣缁撴瀯锛汷ne-D-Piece 鍜� FlexTok 涔熼噰鐢ㄤ簡绫讳技鐨勬柟娉曪紝浣嗕娇鐢ㄤ簡宓屽�鐨� dropout 鏈哄埗锛屽湪娼滃湪搴忓垪涓�紩鍏ヤ簡鐢辩矖鍒扮粏鐨勭粨鏋勩€傝繖浣垮緱搴忓垪闀垮害鑳藉�鏍规嵁姣忎釜杈撳叆鍥惧儚鐨勫�鏉傚害浠ュ強閲嶅缓鎵€闇€鐨勭粏鑺傜骇鍒�繘琛岃皟鏁淬€侰AT 涔熸帰绱�簡杩欑�鑷�€傚簲鎬э紝浣嗕粛鐒朵繚鐣欎簡浜岀淮缃戞牸缁撴瀯锛屽苟涓斾粎璋冩暣鍏跺垎杈ㄧ巼锛汿okenSet 鏇磋繘涓€姝ワ紝浣跨敤浜嗕竴绉嶇敓鎴愩€宼oken 琚嬨€嶇殑鑷�姩缂栫爜鍣�紝瀹屽叏鎽掑純浜嗙綉鏍笺€�
闄や簡 CAT 涔嬪�锛屾墍鏈夎繖浜涙柟娉曠殑鍏卞悓鐐瑰湪浜庯細瀹冧滑瀛︿範鐨勬綔鍦ㄧ┖闂村湪璇�箟涓婃瘮鎴戜滑鐩�墠涓昏�璁ㄨ�鐨勯偅浜涜�楂樼骇寰楀�銆傚氨鎶借薄灞傛�鑰岃█锛屽畠浠�彲鑳戒粙浜庛€岄珮绾у儚绱犮€嶅拰鑰佸紡 VAE 鐨勭煝閲忓€兼綔鍦ㄧ┖闂翠箣闂淬€侳lexTok 鐨勪竴缁村簭鍒楃紪鐮佸櫒闇€瑕佷娇鐢ㄧ幇鏈変簩缁寸綉鏍肩粨鏋勭紪鐮佸櫒鐨勪綆绾ф綔鍦ㄧ┖闂翠綔涓鸿緭鍏ワ紝瀹為檯涓婃槸鍦ㄧ幇鏈変綆绾ф綔鍦ㄧ┖闂翠箣涓婃瀯寤轰簡涓€涓��澶栫殑鎶借薄灞傘€俆iTok 鍜� One-D-Piece 涔熷埄鐢ㄧ幇鏈夌殑浜岀淮缃戞牸缁撴瀯娼滃湪绌洪棿浣滀负澶氶樁娈佃�缁冩柟娉曠殑涓€閮ㄥ垎銆備竴涓�浉鍏崇殑鎬濊矾鏄�細灏嗚�瑷€鍩熼噸鐢ㄤ负鍥惧儚鐨勯珮绾ф綔鍦ㄨ〃寰併€�
鍦ㄧ�鏁ｇ幆澧冧笅锛屼竴浜涘伐浣滃埄鐢ㄨ�瑷€ tokenisation 鐨勬€濇兂锛岀爺绌朵簡缃戞牸涓�父瑙佺殑 token 妯″紡鏄�惁鍙�互缁勫悎鎴愭洿澶х殑瀛愬崟鍏冿細DiscreTalk 鏄��闊抽�鍩熺殑涓€涓�棭鏈熺ず渚嬶紝瀹冨湪 VQ token 涔嬩笂浣跨敤浜� SentencePiece銆俍hang et al 鐨� BPE Image Tokenizer 鏄�繖涓€鎬濊矾鐨勮緝鏂颁綋鐜帮紝瀹冨湪 VQGAN token 涓婁娇鐢ㄤ簡涓€绉嶅�寮虹殑瀛楄妭瀵圭紪鐮佺畻娉曘€�
鍏朵粬妯℃€佺殑娼滃湪鍙橀噺
鍒扮洰鍓嶄负姝�紝鎴戜滑涓昏�鍏虫敞瑙嗚�棰嗗煙锛屼粎鍦ㄤ竴浜涘湴鏂圭畝瑕佹彁鍙婇煶棰戙€傝繖鏄�洜涓哄�涔犲浘鍍忕殑娼滃湪鐗瑰緛鏄�垜浠�凡缁忛潪甯告搮闀跨殑浜嬫儏锛岃€屼笖杩戝勾鏉ワ紝浣跨敤涓ら樁娈垫柟娉曠殑鍥惧儚鐢熸垚宸茬粡寰楀埌浜嗗箍娉涚殑鐮旂┒骞舵姇鍏ョ敓浜э紒銆傛垜浠�湪鎰熺煡鎹熷け鏂归潰鎷ユ湁鎴愮啛鐨勭爺绌朵綋绯伙紝浠ュ強澶ч噺鐨勫垽鍒�櫒鏋舵瀯锛屼娇瀵规姉璁�粌鑳藉�涓撴敞浜庢劅鐭ョ浉鍏崇殑鍥惧儚鍐呭�銆�
瀵逛簬瑙嗛�锛屾垜浠�粛鐒跺仠鐣欏湪瑙嗚�棰嗗煙锛屼絾寮曞叆浜嗘椂闂寸淮搴︼紝杩欏甫鏉ヤ簡涓€浜涙寫鎴樸€備汉浠�彲浠ョ畝鍗曞湴閲嶅�浣跨敤鍥惧儚鐨勬綔鍦ㄧ壒寰佸苟閫愬抚鎻愬彇瀹冧滑鏉ヨ幏寰楁綔鍦ㄧ殑瑙嗛�琛ㄥ緛锛屼絾杩欏彲鑳戒細瀵艰嚧鏃堕棿浼�奖锛堜緥濡傞棯鐑侊級銆傛洿閲嶈�鐨勬槸锛屽畠鏃犳硶鍒╃敤鏃堕棿鍐椾綑銆傛垜璁や负鎴戜滑鐢ㄤ簬鏃剁┖娼滃湪琛ㄥ緛瀛︿範鐨勫伐鍏疯繕杩滆繙涓嶅�瀹屽杽锛岃€屼笖鐩�墠浜轰滑瀵瑰�浣曞埄鐢ㄤ汉绫诲�杩愬姩鐨勬劅鐭ユ潵鎻愰珮鏁堢巼鐨勭悊瑙ｄ篃涓嶅�娣卞叆銆傚敖绠¤�棰戝帇缂╃畻娉曢兘鍒╃敤杩愬姩浼拌�鏉ユ彁楂樻晥鐜囷紝浣嗘儏鍐典粛鐒跺�姝ゃ€�
闊抽�涔熸槸濡傛�锛氳櫧鐒朵袱闃舵�鏂规硶宸茶�骞挎硾閲囩敤锛屼絾瀵逛簬浣垮叾閫傜敤浜庤繖绉嶆ā鎬佹墍闇€鐨勪慨鏀癸紝浼间箮骞舵湭杈炬垚骞挎硾鐨勫叡璇嗐€傚�鍓嶆墍杩帮紝瀵逛簬闊抽�锛屾洿甯歌�鐨勫仛娉曟槸閲嶇敤閫氳繃鑷�洃鐫ｅ�涔犱範寰楃殑琛ㄥ緛銆�
閭ｄ箞璇�█鍛�紵璇�█骞堕潪鎰熺煡妯℃€侊紝浣嗕袱闃舵�鏂规硶鎴栬�涔熻兘鎻愰珮澶у瀷璇�█妯″瀷鐨勬晥鐜囧悧锛熶簨瀹炶瘉鏄庯紝杩欏苟闈炴槗浜嬨€傝�瑷€鏈�川涓婃瘮鎰熺煡淇″彿鏇撮毦鍘嬬缉锛氬畠浣滀负涓€绉嶉珮鏁堢殑娌熼€氭柟寮忓彂灞曡捣鏉ワ紝鍥犳�鍐椾綑搴﹁�浣庡緱澶氥€備絾杩欏苟涓嶆剰鍛崇潃璇�█灏变笉瀛樺湪锛氶�鍐滄浘鏈変竴涓�憲鍚嶇殑浼拌�锛氳嫳璇�殑鍐椾綑搴︿负 50%銆備絾璇疯�浣忥紝鍥惧儚銆侀煶棰戝拰瑙嗛�鍙�互鍦ㄧ浉瀵硅緝灏忕殑鎰熺煡澶辩湡涓嬪帇缂╁嚑涓�暟閲忕骇锛岃€岃�瑷€鍒欎笉鍙�兘鍦ㄤ笉涓㈠け缁嗗井宸�埆鎴栭噸瑕佽�涔変俊鎭�殑鎯呭喌涓嬪仛鍒拌繖涓€鐐广€�
鐢ㄤ簬璇�█妯″瀷鐨� Tokeniser 寰€寰€鏄�棤鎹熺殑锛堜緥濡� BPE銆丼entencePiece锛夛紝鍥犳�鐢熸垚鐨� token 閫氬父涓嶈�瑙嗕负銆屾綔鍦� token銆嶏紙鐒惰€岋紝Byte Latent Transformer 鍦ㄥ叾鍔ㄦ€� tokenisation 绛栫暐涓�‘瀹炰娇鐢ㄤ簡杩欑�妗嗘灦锛夈€傜劧鑰岋紝璇�█涓�浉瀵圭己涔忓啑浣欏苟娌℃湁闃绘�浜轰滑灏濊瘯瀛︿範鏈夋崯鐨勯珮绾ц〃寰侊紒鐢ㄤ簬鎰熺煡淇″彿鐨勬妧鏈�彲鑳芥棤娉曟部鐢�紝浣嗕汉浠�凡缁忔帰绱�簡鍑犵�鍏朵粬鐢ㄤ簬瀛︿範鍙ュ瓙鎴栨�钀界骇鍒�〃寰佺殑鏂规硶銆�
绔�埌绔�細鏄�渶鍚庤耽瀹跺悧锛�
褰撴繁搴﹀�涔犲叴璧锋椂锛屼富娴佽�鐐规槸锛氭垜浠�皢灏藉彲鑳界敤绔�埌绔��涔犲彇浠ｆ墜宸ユ瀯寤虹殑鐗瑰緛銆傝仈鍚堝�涔犳墍鏈夊�鐞嗛樁娈靛皢浣胯繖浜涢樁娈佃兘澶熺浉浜掗€傚簲鍜屽崗浣滐紝浠庤€屾渶澶ч檺搴﹀湴鎻愰珮鎬ц兘锛屽悓鏃朵粠宸ョ▼瑙掑害绠€鍖栨祦绋嬨€傝繖鎴栧�鎴栧皯涔熸�鏄��绠楁満瑙嗚�鍜岃�闊冲�鐞嗛�鍩熸渶缁堝彂鐢熺殑浜嬫儏銆備粠杩欎釜瑙掑害鏉ョ湅锛岄�鍏疯�鍒烘剰鍛崇殑鏄�紝褰撲粖鎰熺煡淇″彿鐨勪富娴佺敓鎴愬缓妯¤寖寮忔槸涓ら樁娈垫柟娉曘€傝櫧鐒朵袱涓�樁娈甸兘鍊惧悜浜庡�涔狅紝浣嗗苟闈炲畬鍏ㄧ�鍒扮�锛�
濡備粖浜у搧涓�儴缃茬殑鏂囨湰杞�浘鍍忋€佹枃鏈�浆瑙嗛�鍜屾枃鏈�浆闊抽�妯″瀷澶у�浣跨敤涓�棿娼滃湪琛ㄥ緛銆傚€煎緱鎬濊€冪殑鏄�紝杩欑�鐜扮姸鏄�殏鏃剁殑锛岃繕鏄�細鎸佺画涓嬪幓锛熸瘯绔燂紝涓ら樁娈佃�缁冪‘瀹炲紩鍏ヤ簡鐩稿綋澶氱殑澶嶆潅鎬э紝闄や簡鏇村姞浼橀泤涔嬪�锛岀�鍒扮�瀛︿範杩樺彲浠ュ府鍔╃‘淇濈郴缁熺殑鎵€鏈夐儴鍒嗛兘涓庡崟涓€鐨勬€讳綋鐩�爣瀹岀編鍦颁繚鎸佷竴鑷淬€�
濡備笂鎵€杩帮紝杈撳叆绌洪棿鐨勮凯浠ｇ粏鍖栭€熷害鎱�笖鎴愭湰楂樻槀锛屾垜璁や负杩欑�鎯呭喌鍙�兘浼氭寔缁�竴娈垫椂闂� 鈥斺€� 灏ゅ叾鏄�湪鎴戜滑涓嶆柇鎻愬崌鐢熸垚淇″彿鐨勮川閲忋€佸垎杈ㄧ巼鍜� / 鎴栭暱搴︾殑鎯呭喌涓嬨€傛垜浠�笉澶�彲鑳芥斁寮冩綔鍦ㄥ眰鍦ㄨ�缁冩晥鐜囧拰閲囨牱寤惰繜鏂归潰鐨勪紭鍔匡紝鐩�墠灏氭棤鍙��鐨勬浛浠ｆ柟妗堣�璇佹槑鑳藉�澶ц�妯″簲鐢ㄣ€傝繖鏄�竴涓��鍏蜂簤璁�殑瑙傜偣锛屽洜涓轰竴浜涚爺绌朵汉鍛樹技涔庤�涓烘槸鏃跺€欒浆鍚戠�鍒扮�鏂规硶浜嗐€傛垜涓�汉璁や负鐜板湪杩樹负鏃惰繃鏃┿€�
閭ｄ箞锛屾垜浠�綍鏃舵墠鑳藉噯澶囧ソ鍥炲綊鍗曢樁娈电敓鎴愭ā鍨嬪憿锛熷儚绠€鍗曟墿鏁ｃ€丄mbient Space Flow銆乀ransformers 鍜� PixelFlow 杩欐牱鐨勬柟娉曞凡缁忚瘉鏄庯細鍗充娇鍦ㄧ浉瀵硅緝楂樼殑鍒嗚鲸鐜囦笅锛岃繖绉嶆柟娉曚篃鑳藉緢濂藉湴鍙戞尌浣滅敤锛屽彧鏄�洰鍓嶈繕涓嶅�鍒掔畻銆備絾纭�欢姝ｄ互鎯婁汉鐨勯€熷害涓嶆柇鏀硅繘鍜屾彁鍗囷紝鍥犳�鎴戞帹娴嬫垜浠�渶缁堜細杈惧埌涓€涓�复鐣岀偣锛氬嵆鐩稿�浣庢晥鐨勮緭鍏ョ┖闂存ā鍨嬪湪缁忔祹涓婁紭浜庡伐绋嬪�鏉傛€ф棩鐩婂�鍔犵殑娼滃湪绌洪棿妯″瀷銆傝嚦浜庝綍鏃跺疄鐜帮紝鍒欏彇鍐充簬鍏蜂綋妯℃€併€佺‖浠舵敼杩涚殑閫熷害浠ュ強鐮旂┒鐨勮繘灞曪紝鍥犳�鎴戜笉浼氬仛鍑哄叿浣撶殑棰勬祴銆�
杩囧幓锛屾垜浠�渶瑕佹綔鍦ㄥ悜閲忔潵纭�繚鐢熸垚妯″瀷涓撴敞浜庡�涔犳劅鐭ョ浉鍏崇殑淇″彿鍐呭�锛屽悓鏃跺拷鐣ヨ�瑙変笂涓嶆樉钁楃殑鐔点€傚洖鎯充竴涓嬶紝杈撳叆绌洪棿涓�殑浼肩劧鎹熷け鍦ㄨ繖鏂归潰灏ゅ叾绯熺硶锛岃€屽垏鎹㈠埌鍦ㄦ綔鍦ㄧ┖闂翠腑娴嬮噺浼肩劧鍊煎彲浠ユ樉钁楁敼鍠勫熀浜庝技鐒舵ā鍨嬬殑缁撴灉銆傚彲浠ヨ�锛岃繖绉嶆儏鍐靛凡涓嶅啀瀛樺湪锛屽洜涓烘垜浠�凡缁忔壘鍒颁簡濡備綍鍦ㄦ劅鐭ヤ笂閲嶆柊鍔犳潈鑷�洖褰掑拰鎵╂暎妯″瀷鐨勪技鐒舵崯澶卞嚱鏁帮紝浠庤€屾秷闄や簡鎵╁睍鐨勪竴涓�噸瑕侀殰纰嶃€傚敖绠″�姝わ紝娼滃湪绌洪棿妯″瀷鐨勮�绠楁晥鐜囦紭鍔夸粛鐒朵竴濡傛棦寰€鍦伴噸瑕併€�
绗�笁绉嶆浛浠ｆ柟妗堬紝鎴戠洰鍓嶄负姝㈠彧鏄�畝瑕佹彁鍒拌繃锛屾槸鍒嗚鲸鐜囩骇鑱旀柟娉曘€傝繖绉嶆柟娉曚笉闇€瑕佽〃寰佸�涔狅紝浣嗕粛鐒跺皢鐢熸垚妯″瀷闂��鍒嗚В涓哄�涓�樁娈点€備竴浜涙棭鏈熺殑鍟嗕笟妯″瀷鏇句娇鐢ㄨ繖绉嶆柟娉曪紝浣嗗畠浼间箮宸茬粡涓嶅啀鍙楁�杩庝簡銆傛垜璁や负杩欐槸鍥犱负涓嶅悓闃舵�涔嬮棿鐨勫垎宸ヤ笉澶熷畬鍠� 鈥斺€� 涓婇噰鏍锋ā鍨嬪繀椤诲畬鎴愬お澶氱殑宸ヤ綔锛岃繖浣垮緱瀹冧滑鏇村�鏄撳湪鍚勪釜闃舵�绉�疮閿欒�銆�