Jump to content

ComfyUI

Википедиа — Чөлөөт нэвтэрхий толь

ComfyUI бол хэрэглэгчдэд текстээр өгсөн заавар (prompt)-аас дүрслэл үүсгэх боломжийг олгодог нээлттэй эхтэй, зангилаанд (node) суурилсан хиймэл оюуны LLM уудыг ажиллуулдаг программ юм. Энэ нь Stable Diffusion зэрэг үнэ төлбөргүй диффузын загваруудыг суурь болгон ашиглаж, ControlNet болон LCM (Low-rank adaptation) зэрэг бусад хэрэгслүүдтэй хослуулдаг бөгөөд хэрэгсэл бүр программ дотор нэг зангилаа хэлбэрээр дүрслэгддэг. Гол хэрэглээ нь AI-аар видео үүсгэх засах, AI-аар зураг үүсгэх засах. 2026 оны байдлаар ComfyUI-д суурилсан LTX 2.5, Minimax H3, WAN 2 зэрэг видео үүсгэгч AI-аар олон мянган хэрэглэгчид үнэгүйгээр видео кино зэргийг бүтээж байна.

ComfyUI нь 2023 оны 1 дүгээр сард GitHub дээр анх тавигдсан байна. Төслийг санаачлагч comfyanonymous-ийн хэлснээр, уг төслийн гол зорилго нь програм хангамжийн хэрэглэгчийн интерфейсийн загварыг сайжруулахад чиглэжээ. Зохиогч нь Stability AI компанитай хамтран ажиллаж байсан ч 2024 оны 6 дугаар сарын 3 гэхэд уг хамтын ажиллагаа дуусгавар болж, үндсэн хөгжүүлэгчидтэй хамт Comfy Org хэмээх байгууллагыг үүсгэн байгуулжээ. 2024 оны 7 дугаар сард Nvidia компани өөрийн RTX Remix моддинг программ дотроо ComfyUI-г дэмжихээ зарлав. 2024 оны 8 дугаар сард Black Forest Labs-аас хөгжүүлсэн Flux диффузын загварын дэмжлэг нэмэгдэж, Comfy Org нь Linux Foundation-аас үүсгэн байгуулсан Open Model Initiative байгууллагад нэгджээ. 2026 оны 7 дугаар сарын байдлаар уг төсөл нь GitHub дээр 122 мянган од (stars) цуглуулсан байна. ComfyUI нь Automatic1111-ийн хамт Stable Diffusion-д зориулсан хамгийн алдартай хэрэглэгчийн интерфейсүүдийн нэг юм.

ComfyUI-ийн үндсэн онцлог нь зангилаанд (node-based) суурилсан явдал юм. Зангилаа бүр "Model loader" эсвэл "CLIP Text Encode" зэрэг өөрийн гэсэн үүрэг функцтэй байдаг. Эдгээр зангилаанууд хоорондоо холбогдож ажлын урсгал (workflow) хэмээх удирдлагын урсгалын графикийг үүсгэдэг. Хүсэлтийг (prompt) дараалалд оруулахад одоо ажиллаж буй зангилааны эргэн тойронд "load checkpoint"-оос эхлээд эцсийн зураг болон түүний хадгалагдах байршил хүртэл тодруулсан хүрээ гарч ирдэг. Ажлын урсгалууд нь ихэвчлэн олон арван зангилаанаас бүрдэж, чиглүүлэгдсэн мөчлөггүй нарийн төвөгтэй график (directed acyclic graph) үүсгэдэг. Зангилааны төрлүүдэд загвар ачаалах, хүсэлт зааж өгөх, түүвэрлэгч (sampler), хуваарьлагч (scheduler), VAE декодер, царай сэргээх болон чанар сайжруулах (upscaling) загварууд, LoRA, олон хэмжээст вектор (embedding), мөн ControlNet багтдаг.

Euler, Euler_a, dpmpp_2m_sde болон dpmpp_3m_sde зэрэг хэд хэдэн түүвэрлэгчийг дэмждэг. Ажлын урсгалыг файл болгон хадгалах боломжтой бөгөөд энэ нь хэрэглэгчдэд зангилааны ажлын урсгалыг дахин ашиглах, бусад хэрэглэгчидтэй хуваалцах боломжийг олгодог. Ажлын урсгалын файлын формат нь JSON бөгөөд үүнийг үүсгэсэн зурган дотор нь суулгаж болно. Мөн хэрэглэгчид үндсэн системд зориулж захиалгат өргөтгөлүүдийг бүтээсэн байдаг бөгөөд тэдгээр нь AnimateDiff-ийн видео үүсгэх зорилготой өргөтгөл шиг шинэ зангилаа хэлбэрээр харагддаг. ComfyUI нь Automatic1111 зэрэг диффузын бусад интерфейсүүдтэй харьцуулахад илүү төвөгтэй болох нь тодорхойлогдсон байдаг. Программтай хамт анхдагч зангилааны бүлэг мөн дагалдан ирдэг.

2024 оны 12 дугаар сарын байдлаар 1,674 зангилаа дэмжигддэг байв. ComfyUI нь Stable Diffusion, Flux болон Tencent компанийн Hunyuan-DiT зэрэг олон төрлийн текстээс зураг үүсгэх загваруудыг, мөн Civitai дахь Pony зэрэг захиалгат загваруудыг дэмждэг.

LLMVision өргөтгөлийн эвдрэл (компромисс)

[засварлах | кодоор засварлах]

2024 оны 6 дугаар сард "Nullbulge" гэгч хакерын бүлэглэл ComfyUI-ийн нэгэн өргөтгөлийг эвдэж, хортой код суулгасан байна. ComfyUI_LLMVISION гэж нэрлэгдсэн уг эвдэрсэн өргөтгөл нь уг интерфейсийг GPT-4 болон Claude 3 хиймэл оюун ухааны хэлний загваруудтай нэгтгэхэд зориулагдсан байсан бөгөөд GitHub дээр байршуулсан байжээ. Nullbulge нь олон үйлчилгээг хамарсан ComfyUI-ийн хэрэглэгчдийн нэвтрэх нэр, нууц үгийн мэдээллийн жагсаалтыг өөрсдийн вэбсайт дээрээ нийтэлсэн ба өргөтгөлийг ашиглагчид нэвтэрсэн тухай олон мэдэгдэл хүлээн авснаа мэдээлсэн байна. vpnMentor компани уг өргөтгөлд аюулгүй байдлын судалгаа хийж, энэ нь "крипто хэтэвч хулгайлах, хэрэглэгчийн дэлгэцийн зураг авах, төхөөрөмжийн мэдээлэл болон IP хаягийг илчлэх, тодорхой түлхүүр үг эсвэл өргөтгөл бүхий файлуудыг хулгайлах" чадвартай болохыг тогтоожээ.

Nullbulge-ийн вэбсайтад тэд хиймэл оюун ухаанаар зураг бүтээх, урлагийн бүтээл хулгайлах, крипто валютыг сурталчлах болон Patreon зэрэг платформоос уран бүтээлчдийн бүтээлийг хулгайлах зэрэг "бидний нүгэл"-ийн нэгийг үйлдсэн хэрэглэгчдийг бай болгосон гэж мэдэгджээ. Тэд өөрсдийгөө "уран бүтээлчдийн эрхийг хамгаалах, тэдний хөдөлмөрийг шударгаар үнэлүүлэх нь чухал гэдэгт итгэдэг хүмүүсийн нэгдэл" гэж үзэж, "хийн аргаар (AI) үүсгэсэн урлагийн бүтээл нь бүтээлч салбарт хор хөнөөлтэй тул үүнийг дэмжих ёсгүй" гэж үзэж байгаагаа илэрхийлжээ.