AIGC技术场景之AI视频
2023-04-12 12:51:57 6 举报
AI智能生成
登录查看完整内容
AIGC技术场景
作者其他创作
大纲/内容
结构化写作(新闻播报等,有比较强的规律)
非结构化写作(副情续写、营销文本等,需要一定创意和个性化)
辅助性写作(推荐相关内容、帮助润色,不属于严格AIGC)
非交互式文本
闲聊机器人(虚拟男/女友、心理咨询等)
文本交互游戏等(Al dungeon等)
交互式文本
文本生成
语音克隆
文本生成特定语音(生成虚拟人歌声/播报等)
乐曲/歌曲生成(包含作曲及编曲,在实际应用中常包含自动作词)
音频生成
图像编辑工具(去除水印、提高分辨率、特定滤镜等)
创意图像生成(随机或按照特定属性生成画作等)
功能性图像生成(根据指定要求生成营销类海报、模特图、logo等)
图像自主生成
图像生成
视频属性编辑(删除特定主体、生成特效、跟踪剪辑等)
视频自动剪辑(对特定片段进行检测及合成)
视频部分编辑(视频换脸等)
视频生成
文字生成图像(根据文字prompt生成创意图像)
文字生成演示视频(拼接图片素材生成视频)
文字生成创意视频(完全从头生成特定主题视频)
图像/视频到文本(视觉问答系统、自动配字幕/标题等)
图像、视频、文本间跨模态生成
策略生成 (以Game AI中AI bot为代表)
Al Bot
NPC逻辑及剧情生成
数字资产生成-NFT
Game Al
虚拟人视频生成
虚拟人实时交互
虚拟人生成
AIGC 技术场景
具备剪辑、调色、特效和音频处理等于一身的影视后期制作软件。调色领域有着出奇的表现
使用高端深度神经网络和机器学习机制,其中的很多功能,都运用了人工智能技术,包括物体检测、智能画面重构、面部识别、Speed Warp变速,Super Scale变换、自动调色等功能
达芬奇(DaVinci Resolve STUDIO 17)
影视行业入门软件本身剪辑功能强大,由于出自Adobe,与自家的AE/AU/PS/AI等软件强强联合,彼此协同处理办公,功能自然强大
Premiere
苹果MAC系统独有的剪辑软件,配合MAC强大的计算(图形)处理系统,Final Cut Pro(FCP)本身又有强大的视频编辑功能,FCP一直作为MAC用户首选的视频编辑软件。
Final Cut Pro
相对达芬奇、AVID等软件要小的多。虽然它比较小,但是并不会影响其专业的功能。这个软件,集视频剪辑、特效、字幕、多音轨(多轨道)、调色、合成等众多功能于一身。
EDIUS
影视专业剪辑
剪辑、特效、字幕、多音轨调色、
侧重于热门模板(剪同款)的打造
剪映
侧重于视频剪辑功能
快影
不断完善其音频功能
必剪
移动APP剪辑
基础剪辑(复制、删除、倒放、旋转等)
深度加工(滤镜、特效、蒙版、画中画等)
画面调节(亮度、对比度、饱和度等)
音频调节(插入音乐、变声、录音、语音转文字等)。
功能划分
创作剪辑
热门模板
创作指导
互动消息
个人中心
剪辑栏目
一键分享设置
片尾联名定版
官方话题推广
明星流量导入
剪辑工具的商业捆绑
核心
AI剪辑
传统视频软件
AI 视频制作者使用人工智能 (AI) 通过使用来自各种来源的数据(包括文本、图像和音频文件)来创建视频。虽然仍然需要人工参与来提供一些方向,但人工智能视频制作者可以在几乎没有人工输入的情况下制作视频。
AI视频制作器如何工作
文字生成视频,除了从已有素材库中拼接而成,实际上还有更接近于人类的工作方式,就像AI绘画模型一样学习,文本和图像的抽象概念。
技术本质上来看,视频就是一帧帧的连续图像,AI文字生成视频也可看作文字生成图像的一种延伸。大致原理就是,通过文本生成几个单帧的图像,再用插值算法在几个帧之间绘制图像,生成前后连贯的视频。
AI视频的技术原理
TTV技术图文转视频
案例
TTV 需要做得事
通用TTV 概览
TTV 技术
基于图文生成视频
1 图文智能匹配视频素材
2 AI自动剪辑
3 AI抠像
4 AI换脸
5 画质修复等
AI视频的应用
AI视频介绍
抖音的剪映
快手的快影
百度的百家号
B站的必剪
剪辑工具
根据文案,一键拼接图片和视频素材,并同步生成字幕和配音AI功能以文字匹配视频素材为主,素材来源:来源于网络或第三方服务,比如免版权图库Unsplash、Pexels
子主题
Fliki:擅长短图文转视频,输入Twitter等博客链接即可快速生成短视频,在图片素材上它还提供文字生成AI图像。网址:https://fliki.ai/tools/tweet-to-video
Copydone:各平台AI营销文案生成,同时也能根据文案自动生成配图或拼接视频网址:https://app.copy.ai/?
Kaiber: 用户输入图像或文本描述,也可以从预设中选择几个词,就能快速生成视频结果。网址: https://app.kaiber.ai/
30 美元/ 月
Synthesia:用户可以从现有演员库中,选择或上传自己的视频来创建AI形象,然后输入脚本,让AI配音、拼接素材就能输出视频了。网址:https://www.synthesia.io/
D-ID:只要上传一张图片,几分钟内就可以生成有人物解说的视频,D-ID自动为人物添加了一系列面部动作,会模拟一些轻微的头部运动,网址:https://studio.d-id.com/editor
AI视频工具
AI只能算是辅助视频创作的小助手,如果想要原创度更高、从无到有地快速创作视频还比较困难,但更强大的跨模态生成视频的模型(例如文字生成视频,图像生成视频)已经在路上了。
目前跨模态生成视频的AI模型,仍处于探索阶段,谷歌、Meta等大厂去年,都发布了相关研究论文,只有演示案例,具体产品还未上线。
“Make-A-Video”加速了文本到视频模型的训练(它不需要从头开始学习视觉和多模态表示),也不需要成对的文本-视频数据,却可以实现丰富的文字生成视频,图像生成视频(让单个图像或两个图像间动起来),以及改变原始视频的风格。
谷歌发布的“Imagen Video”和“Phenaki”也能实现类似以上的效果,并且Phenaki可以根据一系列提示生成2分钟以上的长视频。
2022年5月,清华大学曾联合智源研究院发布“CogVideo”,这是国内首个开源的文本生成视频模型。在其Demo网站中,选择“青年女子在餐厅里喝奶茶”
近期国内的深氧科技完成了千万元级天使轮融资,引入GPT3.5、Transformer、Diffusion Model等AI技术红利,其发布的O3.xyz引擎V1.0版本支持一站式生成3D短视频内容,百万粉博主“特效卡卡西”等创作者已加入内测。
人工智能公司Runway曾参与构建了第一个版本的Stable Diffusion,最近他们又发布了一个新的视频生成器“Gen-1”,即将开放内测,宣称可以把视频转换成任意风格。
跨模态AI 的一些研究
AI视频-跨模态AI
当下的AI视频模型还不能很快生成像AI绘图那样高质量的作品,比如存在视频模糊、动作不自然、缺少细节等问题。但随着国内AIGC的技术发展,相关场景应用生态可能有很大的想象空间,一些AI技术公司目前已经开始提供付费服务了,为个人和企业有针对性地提高内容生产效率。继文字生成图像后,下一波浪潮肯定是视频、音频和3D。
可以继续开发和完善AI模型。AIGC方向机器学习
技术人员
去学习认识和使用AI工具,让AI代替重复性的琐碎工作,将更多时间花在自己的核心优势上,产生更高质量的内容
内容创作者
只要是好玩高质量的内容 Ai 批量生成也无妨用户担心的是低质量内容泛滥
用户
角色
陪伴型聊天机器人
聊天机器人
文本、图像、声音、视频
抖音、视频号、小红书的内容,会有工业化生产替代机械劳动的机会
AI创作工具
AI IP 内容创作者
创意
代码
工业机器人
AI 代替重复劳动的工作
AI 搜索
....
AIGC 应用场景举例
AIGC浪潮如何应对
AIGC技术场景之AI视频23/3/4
0 条评论
回复 删除
下一页