文/ 智能相對論(ID:aixdlun)
作者/ 離離
近年,由于網(wǎng)絡(luò)的普及,動漫作品傳播的速度不斷加快,二次元文化的受眾數(shù)量不斷上升,影響范圍也越來越廣泛。
如去年完結(jié)的日漫《鬼滅之刃》就成功“出圈”,掀起了現(xiàn)象級熱潮。原著漫畫為2020年日本漫畫銷量冠軍,累計發(fā)行量突破1億2000萬冊(含電子版),為第二名的十倍有余。其劇場版動畫電影《鬼滅之刃:無限列車篇》上映后,更是在短時間內(nèi)突破300億日元票房,并持續(xù)刷新日本影史的各項紀錄。
看著日益廣闊的動漫市場,一些廠商開始嘗試利用人工智能來推動漫畫生產(chǎn),希望能實現(xiàn)漫畫生產(chǎn)的自動化,在提高生產(chǎn)效率的同時減少人力成本。
Made in AI的漫畫
“智能相對論”查到,一般的漫畫創(chuàng)作過程大致可分為三部份: 一是人物形象設(shè)計;二是故事編排,包含情節(jié)、對話等文學腳本的寫作;三是角色、場景與分鏡配置等漫畫繪制。每位漫畫家都有不同的繪畫風格和敘事方式。
去年,日本鎧俠株式會社(Kioxia Corporation)的研究人員與手冢工作室的藝術(shù)團隊合作,利用人工智能深度學習技術(shù)完成世界上第一部由人類與AI協(xié)作的漫畫作品《PHAEDO》,高度還原了已故知名漫畫家手冢治蟲的漫畫風格。
為了讓人工智能學習手冢的畫風與筆觸,研究團隊收集了十五萬張手冢漫畫手稿,利用圖像識別技術(shù)將其分類標記,將角色面容等圖像特征轉(zhuǎn)換為數(shù)據(jù),再利用多個NVIDIA V100 GPU和cuDNN加速的TensorFlow深度學習框架(由StyleGAN編寫)進行訓練和推理。
在角色生成的訓練中,研究團隊還使用了手冢治蟲作品以外的多部不同漫畫的人物臉孔和真實的人臉照片來進行訓練,建立對抗性神經(jīng)網(wǎng)絡(luò)模型StyleGAN,讓其充分學習不同風格、不同角度的漫畫人臉畫風。
再使用遷移學習來整合成千上萬個數(shù)據(jù)點,從粗糙的輪廓描繪逐漸細化至眼睛、嘴唇等細節(jié),讓AI所繪制的人像與手冢原作更加相似。
在腳本創(chuàng)作方面,研究團隊將《森林大帝》《鐵臂阿童木》和《怪醫(yī)黑杰克》等上百個手冢治蟲的漫畫作品分解為多個段落,作為AI“學習”的對象。
分析了這些故事后,AI便能自動生成多個故事大鋼。但這些由AI創(chuàng)作的故事中存在許多邏輯錯誤,且只有五分之一具有意義,并充滿讓人意料之外的情節(jié)。
對于AI故事創(chuàng)作的不足,研究團隊還是抱持較為樂觀的態(tài)度,將這些另類的想法和飛躍視為手冢治蟲漫畫作品之特色。最后,通過手冢工作室藝術(shù)團隊的人工校正,《PHAEDO》的劇本才得以完成。這部作品已發(fā)表于日本漫畫雜志《Morning》與鎧俠的項目網(wǎng)站“TEZUKA 2020”。
影視劇改漫AI實現(xiàn)自動化
除了現(xiàn)有的漫畫作品,真人影集也是漫畫的靈感來源之一。近期,來自大連理工大學和香港城市大學的研究團隊提出了一款將視頻自動轉(zhuǎn)換為靜態(tài)漫畫頁面的AI系統(tǒng),為人工智能圖像生成技術(shù)開拓了新的應(yīng)用道路。
與前陣子在各大社交軟件上流行的,將靜態(tài)照片變成動畫的Avatarify相反。這款漫畫生成系統(tǒng)無需用戶手動調(diào)整,即可將電視連續(xù)劇、電影、卡通等任意種類的影片,自動變成帶有對話框及文字內(nèi)容的漫畫頁面。
首先,系統(tǒng)會依照每段字幕的時間將視頻分割成多個鏡頭,并藉由分析連續(xù)鏡頭的相似度與對話內(nèi)容,從中提取要轉(zhuǎn)換成漫畫的關(guān)鍵幀畫面。再將選取的關(guān)鍵幀源圖像轉(zhuǎn)換為黑白圖像,執(zhí)行量化與彩色風格化,造就出“漫畫”風格的圖像。
隨后,根據(jù)關(guān)鍵幀的興趣區(qū)域、重要性等級、彼此間的語義關(guān)系和頁面上的面板數(shù)量來決定漫畫的分格大小及數(shù)量,生成多頁面布局。
研究團隊通過參考漫畫書中對話框形狀的多樣性,使用三種不同的氣泡形狀對應(yīng)不同情感的語句。并利用一些動漫視頻與相應(yīng)漫畫作為訓練素材,幫助系統(tǒng)學習識別影片中的聲音、字幕情感與相應(yīng)的氣泡形狀。
利用文本總結(jié)算法,系統(tǒng)可將相關(guān)字幕進行合并,確保對話框中的句子不會太長,增強可讀性。再通過發(fā)言人物檢測和唇動檢測,將帶有發(fā)言內(nèi)容的對話框放置在所屬人物附近。
該系統(tǒng)現(xiàn)階段依然有一些尚待解決的問題。例如關(guān)鍵幀的選擇上,一些畫面的相似度過高,仍有多余畫面;無字幕的視頻,單就語音識別生成的臺詞易出現(xiàn)錯誤。雖然相較于其它方法生成的改漫作品,該系統(tǒng)的反響良好,但總體而言仍處于試驗階段。研究團隊表示,下一步希望能利用文本信息生成漫畫。
AI漫畫家走到哪了
“智能相對論”從《PHAEDO》和AI改漫系統(tǒng)的誕生可見,現(xiàn)階段的人工智能尚未具備獨立完成一部漫畫作品的能力。在文學藝術(shù)的創(chuàng)作上,AI尚未成熟;但在漫畫繪制過程中,AI對于畫風與筆觸的模擬可說是“以假亂真”。
在二次元經(jīng)濟大規(guī)模崛起的環(huán)境下,中國的動漫產(chǎn)值在近年步步高升,漫畫市場規(guī)模也呈現(xiàn)穩(wěn)定增長。這兩項技術(shù)若實現(xiàn)商業(yè)化,可讓漫畫家們從枯燥無味的重復勞動中解放,集中心力完成情節(jié)、對話設(shè)置等藝術(shù)原創(chuàng)。不但能加快生產(chǎn)速度,同時也能減少人力成本,可說是具有一定的商業(yè)價值。
目前國內(nèi)部份公司已具備自動制作漫畫所需的人工智能圖像識別、圖像繪制及文本自動生成技術(shù),可說是具有進入此市場的技術(shù)基礎(chǔ)。但漫畫自動生成并非只是這些技術(shù)的堆疊與排序,現(xiàn)有的商業(yè)應(yīng)用方向似乎也并未覆蓋漫畫創(chuàng)作,還需要特定的數(shù)據(jù)庫和算法模型加以訓練。
以人工智能生成動漫圖象的技術(shù)為例,現(xiàn)在最普遍的商業(yè)模式為面向B端,替拍照軟件提供美漫、日漫、3D立體動畫風格的圖片生成服務(wù)?;谏蓪咕W(wǎng)絡(luò)GAN算法,不少公司都推出了頭像改漫、漫畫背景濾鏡等服務(wù),可將現(xiàn)實中的景觀與人像轉(zhuǎn)變成二次元動漫畫風。
如百度大腦AI開放平臺曾與B612咔嘰美顏相機合作,為用戶提供量身定做的二次元漫畫頭像定制、油畫風格轉(zhuǎn)換服務(wù)。
騰訊光影研究室在QQ小世界、微視App、微博等社交平臺上推出的“王者臉”、“童話臉”等各類AI特效應(yīng)用,可將照片和直播視頻中的人物立刻變成游戲角色、真人“芭比”或“在逃公主”。
網(wǎng)易游戲《逆水寒》《天諭》的智能捏臉也是基于AI圖象生成技術(shù)。玩家上傳一張2D照片后,系統(tǒng)可自動生成相似度超高的3D臉部模型,甚至連發(fā)型都能自動生成。
這些基于圖片識別與生成對抗網(wǎng)絡(luò)的AI動漫圖象生成技術(shù)可將已有的照片轉(zhuǎn)換為漫畫風格,具有影視改漫自動化的技術(shù)基礎(chǔ)。但要像TEZUKA 2020項目那樣“無中生有”固定風格的漫畫作品,似乎還需要一些訓練。
就這點而言,曾“就讀”中央美術(shù)學院的小冰或許離AI漫畫家更近一些。“學習”兩百多位著名人類畫家的作品后,小冰可在接收到文本或其他創(chuàng)作刺激后獨立完成原創(chuàng)的命題畫作。不僅曾在中央美術(shù)學院美術(shù)館舉辦個人畫展,還將這項能力應(yīng)用于絲巾、服裝等紡織面料及圖案設(shè)計,實現(xiàn)商業(yè)化。
在故事腳本生成方面,雖然人工智能已具備撰寫近體詩、新詩、新聞稿、廣告文案等各類文體的能力,但目前對智能寫作需求最大、黏性最強的四個市場分別是內(nèi)容資訊、金融財經(jīng)分析、數(shù)字營銷和行政辦公。
因此,國內(nèi)已實現(xiàn)商業(yè)化的AI寫作產(chǎn)品大多針對營銷、政務(wù)等領(lǐng)域,以角色對話推進故事發(fā)展的漫畫文稿等藝術(shù)創(chuàng)作方面的應(yīng)用較少。
如阿里發(fā)布的“AI智能文案”產(chǎn)品結(jié)合淘寶、天貓的海量內(nèi)容與自然語言算法,聚焦于電商營銷文案,可模擬多種風格、自定義字數(shù)并實時學習在線樣本,一秒內(nèi)可生成兩萬條短標題。
金山WPS智能寫作的訓練數(shù)據(jù)源于權(quán)威媒體與政府公開網(wǎng)站,常用于公文寫作。支持文本自動生成、輔助成搞寫作、智能素材推薦等服務(wù),在政務(wù)系統(tǒng)的覆蓋率較高。
“智能相對論”看到,百度智能創(chuàng)作平臺也帶有自動寫作功能,既有針對財經(jīng)、體育數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)寫作,還有智能寫詩、智能春聯(lián)等API服務(wù)。而小冰框架不僅曾經(jīng)出版現(xiàn)代詩集,還為萬得資訊、華爾街見聞等公司提供金融摘要自動生成服務(wù)。
由此可見,雖然制作漫畫所需的AI技術(shù)已發(fā)展出較為成熟的商業(yè)模式,但這些技術(shù)大多被作為單獨的服務(wù)或產(chǎn)品分開使用,應(yīng)用方向也各有不同。 比起其他的AI系統(tǒng),小冰和百度等同時具備文本寫作與繪畫能力的人工智能框架可能較有成為AI漫畫家的潛力,但目前看來,國內(nèi)公司似乎并未將人工智能大規(guī)模應(yīng)用于漫畫生產(chǎn),更別說是形成“一條龍”的漫畫自動生成產(chǎn)業(yè)鏈。
2015年,中國的漫畫產(chǎn)業(yè)進入了高速增長期,并持續(xù)保有較高的增長率,在2019年開始進入平穩(wěn)增長期。據(jù)2020年6月發(fā)布的《2020微博動漫白皮書》顯示,微博泛二次元用戶同比增長11.4%,連續(xù)4年保持增長;54%的動漫用戶是內(nèi)容付費用戶。
在二次元用戶數(shù)量與市場規(guī)模不斷擴增的今日,消費者逐漸養(yǎng)成為內(nèi)容付費的習慣,付費商業(yè)模式助于刺激生產(chǎn),創(chuàng)作者們也不斷探索新的漫畫表現(xiàn)形式。如介于動畫與漫畫之間的動態(tài)漫畫、經(jīng)由用戶觸摸或搖晃設(shè)備而推動內(nèi)容情節(jié)發(fā)展的互動漫畫。
無論是需要耗費大量人力的靜態(tài)漫畫,還是這些制作周期更長、投入成本更高的新形態(tài)漫畫,若能在內(nèi)容生產(chǎn)上降低成本、提高產(chǎn)出效率,不但能讓作者省下重復勞動的時間精力,得以更專注于打磨作品;也能降低漫畫生產(chǎn)門檻,迸發(fā)出更多藝術(shù)可能。
在“國漫崛起”的現(xiàn)在,使用AI來加快漫畫生產(chǎn)似乎是個不錯的想法。就像參與《Phaedo》項目的科學家松原仁所說的,AI和人類合作畫漫畫是理所當然的未來。
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!
2023年7月6日,第六屆世界人工智能大會(WAIC2023)在上海開幕,“人工智能大模型”是本屆大會的備受矚目的話題,據(jù)悉,在昇騰AI大模型的創(chuàng)新研發(fā)中,華為聯(lián)手26家行業(yè)領(lǐng)軍企業(yè),組建了一支協(xié)同創(chuàng)新的“AI明星隊”,云天勵飛作為中國人工智能企業(yè)的杰出代表,和互聯(lián)網(wǎng)大廠、運營商、科研院所等優(yōu)秀團隊
這幾個月來,以ChatGPT為代表的生成式AI展現(xiàn)出的能力令世界驚嘆。自從2016年AlphaGo戰(zhàn)勝李世石掀起了一波AI浪潮后,AI仿佛已經(jīng)沉寂了很久,ChatGPT的橫空出世就如同一束耀眼的光芒,讓AI這個名詞重回C位。過去在AI1.0時代,主要通過訓練模型來實現(xiàn)圖像識別、聲音識別、語言處理等特
文:互聯(lián)網(wǎng)江湖作者:志剛2023年的IoT需要一個新故事。6月29日,涂鴉智能在開發(fā)者大會上,發(fā)布了企業(yè)級戰(zhàn)略PaaS2.0,希望通過一個平臺+四大開發(fā)服務(wù),建立起IoT生態(tài)。對于這場發(fā)布會,市場的態(tài)度是積極的。美東時間6月29日收盤,涂鴉智能美股股價上漲5.6%,來到1.87美元/股。近日股價穩(wěn)定
美團曾經(jīng)的二號人物王慧文對標OpenAI的創(chuàng)業(yè)項目光年之外,以20億賣給美團,再度引發(fā)市場對大模型的熱議。
2020年底,王慧文在朋友圈寫下這句話時,外界本以為這位伴隨中國互聯(lián)網(wǎng)發(fā)展而持續(xù)創(chuàng)業(yè)20年的人物即將告別創(chuàng)業(yè)舞臺。但是,一個曾經(jīng)多次創(chuàng)業(yè),正值壯年的互聯(lián)網(wǎng)老將心中的創(chuàng)業(yè)熱情是難以熄滅的。
“人工智能的商業(yè)模式,是要創(chuàng)造一個市場,而非一個算法”。這是世界AI泰斗MichaelI.Jordan的觀點。而當前的全球AI市場,占據(jù)主導地位的中美雙方,卻也走出了兩條截然不同的技術(shù)路徑,前者執(zhí)著于前沿技術(shù)的探索,后者則發(fā)力應(yīng)用優(yōu)化和商業(yè)化落地。南轅北轍的兩個方向,或許已經(jīng)無法直接進行排位先后、優(yōu)
智能體進化發(fā)展了一年,現(xiàn)在的RPAAgent迭代到什么程度了?從實在智能最新發(fā)布的實在Agent7.0,看RPAAgent的迭代升級抓取豆瓣信息、自己制作PPT,這款AIAgent真的實現(xiàn)了流程全自動化AIAgent構(gòu)建到執(zhí)行全自動化,持續(xù)進化RPAAgent再次降低智能體應(yīng)用門檻實在智能重磅發(fā)布實
崔大寶|節(jié)點財經(jīng)創(chuàng)始人進入2024年,大模型似乎有熄火之勢:資本市場,與之關(guān)聯(lián)的概念炒不動了,英偉達股價動輒暴跌重挫,引發(fā)“泡沫戳破”的擔憂;消費市場,BATH們的推新活動少了,產(chǎn)品更新迭代的速度慢了,民眾的關(guān)注度降了……熱鬧的大概只剩下兩場酣仗:自5月15日字節(jié)跳動宣布“以厘計費”,打響國內(nèi)大模型
文|智能相對論作者|陳泊丞好消息!你心心念念的事業(yè)單位發(fā)錄取公告了!壞消息!他們沒錄你,錄了個數(shù)字人。圖片來源網(wǎng)絡(luò)隨著數(shù)字人技術(shù)的突破,越來越多的傳統(tǒng)企業(yè)和機構(gòu)開始用上了“數(shù)字員工”。甚至很多中國人心心念念的“鐵飯碗”,也被這些數(shù)字人給捧上了。數(shù)字人捧上了“鐵飯碗”簡單翻看一下全國各地事業(yè)單位的“錄
黑芝麻智能敲鐘后,港交所門口又有一些智駕芯片企業(yè)引發(fā)關(guān)注。據(jù)悉,近日地平線已通過中國證監(jiān)會IPO備案,擬發(fā)行不超過11.5億股境外上市普通股并在香港聯(lián)合交易所上市,預計籌集約5億美元資金。從天眼查可以了解到,該公司成立于2015年,是一家乘用車高級輔助駕駛(ADAS)和高階自動駕駛(AD)解決方案供
8月21日,萬眾矚目的2024世界機器人大會暨博覽會在北京亦創(chuàng)國際會展中心盛大開幕。這場為期5天,集“展覽”“論壇”“賽事”于一體的機器人盛會,反映了當下機器人領(lǐng)域的繁榮生態(tài)。據(jù)官方統(tǒng)計數(shù)據(jù),今年現(xiàn)場逛展觀眾高達25萬人次,比去年增加25%。機器人行業(yè)有多火?看看2024世界機器人大會火爆程度便可知
瞄準場景需求,打造國內(nèi)領(lǐng)先的自主可控、高質(zhì)量超大載重高烈度環(huán)境特種智能系留無人平臺。卓翼智能亮相HICOOL峰會以科技實力榮摘創(chuàng)業(yè)大賽一等獎這個比賽5年培育出16家“獨角獸”HICOOL2024全球創(chuàng)業(yè)者峰會暨創(chuàng)業(yè)大賽已于8月25日在北京圓滿落下帷幕,大賽共吸引了124個國家和地區(qū)的7406個創(chuàng)業(yè)項
人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量。無錫市作為中國的科技創(chuàng)新中心之一,正通過構(gòu)建人工智能"算力+算法+數(shù)據(jù)"三要素齊備的產(chǎn)業(yè)生態(tài),為產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用提供強大支撐,通過“AI+”行動推動人工智能與多個產(chǎn)業(yè)交叉融合,實現(xiàn)技術(shù)落地和產(chǎn)業(yè)化,加速形成新質(zhì)生產(chǎn)力,打造具有國際競爭力的產(chǎn)業(yè)創(chuàng)新智造
近日,2024龍蜥操作系統(tǒng)大會(OpenAnolisConference)在北京圓滿召開,此次大會由中國計算機學會開源發(fā)展委員會、中關(guān)村科學城委員會、海淀區(qū)委網(wǎng)信辦、中國開源軟件推進聯(lián)盟指導,龍蜥社區(qū)主辦,阿里云、浪潮信息、Intel、中興通訊、Arm、中科方德等24家理事單位共同承辦,主題為“進化