

首页  思维导图  详情



AIGC技术场景之AI视频

2023-04-12 12:51:57   7  举报





AI智能生成

AIGC技术场景

人工智能

游戏开发

产品规划

AIGC

模版推荐

作者其他创作

大纲/内容

AIGC 技术场景

文本 生成

非交互式文本

结构化写作 （新闻播报等，有比较强的规律）

非结构化写作 （副情续写、营销文本等，需要一定创意和个性化）

辅助性写作 （推荐相关内容、帮助润色，不属于严格AIGC）

交互式文本

闲聊机器人 （虚拟男／女友、心理咨询等）

文本交互游戏等（Al dungeon等）

音频 生成

语音克隆

文本生成特定语音 （生成虚拟人歌声／播报等）

乐曲／歌曲生成 （包含作曲及编曲，在实际应用中常包含自动作词）

图像生成

图像编辑工具 （去除水印、提高分辨率、特定滤镜等）

图像自主生成

功能性图像生成 （根据指定要求生成营销类海报、模特图、logo等）

创意图像生成 （随机或按照特定属性生成画作等）

视频生成

视频属性编辑 （删除特定主体、生成特效、跟踪剪辑等）

视频自动剪辑 （对特定片段进行检测及合成）

视频部分编辑 （视频换脸等）

图像、视频、 文本间跨模态生成

文字生成图像 （根据文字prompt生成创意图像）

文字生成演示视频 （拼接图片素材生成视频）

文字生成创意视频 （完全从头生成特定主题视频）

图像／视频到文本 （视觉问答系统、自动配字幕／标题等）

策略生成  （以Game AI中AI bot为代表）

Game Al

Al Bot

NPC逻辑及剧情生成

数字资产生成-NFT

虚拟人生成

虚拟人视频生成

虚拟人实时交互

传统 视频 软件

影视专业剪辑

达芬奇 （DaVinci Resolve  STUDIO 17）

具备剪辑、调色、特效和音频处理等于一身的影视后期制作软件。 调色领域有着出奇的表现

使用高端深度神经网络和机器学习机制，其中的很多功能， 都运用了人工智能技术，包括物体检测、智能画面重构、 面部识别、Speed Warp变速，Super Scale变换、自动调色等功能

Premiere

影视行业入门软件本身剪辑功能强大， 由于出自Adobe， 与自家的AE/AU/PS/AI等软件强强联合， 彼此协同处理办公，功能自然强大

Final Cut Pro

苹果MAC系统独有的剪辑软件， 配合MAC强大的计算（图形）处理系统， Final Cut Pro（FCP）本身又有强大的视频编辑功能， FCP一直作为MAC用户首选的视频编辑软件。

EDIUS

相对达芬奇、AVID等软件要小的多。 虽然它比较小，但是并不会影响其专业的功能。 这个软件，集视频剪辑、特效、字幕、多音轨（多轨道）、 调色、合成等众多功能于一身。

移动APP剪辑

剪映

侧重于热门模板（剪同款）的打造

快影

侧重于视频剪辑功能

必剪

不断完善其音频功能

AI剪辑

AI视频介绍

AI视频 制作器 如何工作

AI 视频制作者使用人工智能 (AI) 通过使用来自各种来源的数据 （包括文本、图像和音频文件）来创建视频。 虽然仍然需要人工参与来提供一些方向， 但人工智能视频制作者可以在几乎没有人工输入的情况下制作视频。

AI视频的 技术原理

文字生成视频，除了从已有素材库中拼接而成， 实际上还有更接近于人类的工作方式， 就像AI绘画模型一样学习，文本和图像的抽象概念。

技术本质上来看，视频就是一帧帧的连续图像， AI文字生成视频也可看作文字生成图像的一种延伸。 大致原理就是，通过文本生成几个单帧的图像， 再用插值算法在几个帧之间绘制图像，生成前后连贯的视频。

基于图文 生成视频

TTV技术 图文转视频

TTV 需要做得事

AI视频的应用

1 图文智能匹配视频素材

2 AI自动剪辑

3 AI抠像

4 AI换脸

5 画质修复等

AI视频 工具

剪辑工具

抖音的剪映

快手的快影

百度的百家号

B站的必剪

AI视频工具

Fliki: 擅长短图文转视频， 输入Twitter等博客链接 即可快速生成短视频， 在图片素材上它还提供文字 生成AI图像。 网址：https://fliki.ai/tools/tweet-to-video

子主题

Copydone: 各平台AI营销文案生成， 同时也能根据文案 自动生成配图或拼接视频 网址：https://app.copy.ai/?

Kaiber:  用户输入图像或文本描述， 也可以从预设中选择几个词， 就能快速生成视频结果。 网址： https://app.kaiber.ai/

子主题

Synthesia： 用户可以从现有演员库中，选择或上传 自己的视频来创建AI形象，然后输入脚本， 让AI配音、拼接素材就能输出视频了。 网址：https://www.synthesia.io/

30 美元/ 月

D-ID： 只要上传一张图片，几分钟内就 可以生成有人物解说的视频， D-ID自动为人物添加了一系列面部动作， 会模拟一些轻微的头部运动， 网址：https://studio.d-id.com/editor

子主题

AI视频- 跨模态AI

目前跨模态生成视频的AI模型，仍处于探索阶段， 谷歌、Meta等大厂去年，都发布了相关研究论文， 只有演示案例，具体产品还未上线。

跨模态AI 的 一些研究

“Make-A-Video”加速了文本到视频模型的训练 （它不需要从头开始学习视觉和多模态表示）， 也不需要成对的文本-视频数据， 却可以实现丰富的文字生成视频， 图像生成视频（让单个图像或两个图像间动起来）， 以及改变原始视频的风格。

谷歌发布的“Imagen Video” 和“Phenaki”也能实现类似以上的效果， 并且Phenaki可以根据一系列 提示生成2分钟以上的长视频。

2022年5月， 清华大学曾联合智源 研究院发布“CogVideo”， 这是国内首个开源的文本生成视频模型。 在其Demo网站中， 选择“青年女子在餐厅里喝奶茶”

近期国内的深氧科技完成了千万元级天使轮融资， 引入GPT3.5、Transformer、 Diffusion Model等AI技术红利， 其发布的O3.xyz引擎V1.0版本 支持一站式生成3D短视频内容， 百万粉博主“特效卡卡西”等创作者已加入内测。

人工智能公司Runway曾参与构建了 第一个版本的Stable Diffusion， 最近他们又发布了 一个新的视频生成器“Gen-1”， 即将开放内测， 宣称可以把视频转换成任意风格。

AIGC 浪潮如何 应对

角色

技术人员

可以继续开发和完善AI模型。 AIGC方向机器学习

内容创作者

去学习认识和使用AI工具， 让AI代替重复性的琐碎工作， 将更多时间花在自己的核心优势上， 产生更高质量的内容

用户

只要是好玩高质量的内容 Ai 批量生成也无妨 ‌用户担心的是低质量内容泛滥

AIGC  应用场景 举例

聊天机器人

陪伴型聊天机器人

AI创作工具

文本、图像、声音、视频

抖音、视频号、小红书的内容， 会有工业化生产替代机械劳动的机会

AI IP 内容创作者

AI 代替重复劳动的工作

创意

代码

工业机器人

AI 搜索

....

 Collect

Get Started

AI产品经理，什么是AIGC及常用术语~-AIGC那些事

 Collect

Get Started

AI视频生成Sora架构图

 Collect

Get Started

音视频AI Agent技术架构

 Collect

Get Started

AIGC赋能多个场景及行业





0 条评论

下一页