欢迎光临
我们一直在努力

用机器学习搞技术,谷歌Megenta项目集锦(附Github)

  本文为雷锋字幕组编译的技术博客,原文 Make Music and Art Using Machine Learning,作者 magenta。

  翻译:汪星宇、王飞、魏洪贵 | 整理:凡江

  概述

  Magenta 项目的一个主要目标是证明机器学习可以用来提高所有人的创造性潜能。

  页面上的演示和应用均来自谷歌人(内部或是外部),他们打造有趣的玩具、富有创意的应用、研究笔记和专业工具,这将对许多人有所帮助。

  分类

  Web 应用

  本部分包括基于浏览器的应用程序管理,许多是通过 TensorFlow.js,对 WebGL-accelerated 的推理实现的。

  1. Beat Blender [ demo  blog  code ]

  Torin Blankensmith ( Github: torinmb,Twitter: tBlankensmith )

  Kyle Phillips ( Github: hapticdata , Twitter: hapticdata )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  这是谷歌 Creative Lab 基于 MusicVAEMusicVAE.js API 实现的一个交互 demo。你可以使用它来生成鼓点的二维调色板,并通过 latent 空间绘制路径以创建不断变化的节拍。四个角可以手动编辑,替换为预设,或从 latent 空间采样以重新生成调色板。

  2. Latent Loops [ demo  blog ]

  Catherine McCurry ( Github:  currycurry )

  Zach Schwartz ( Github:  zischwartz )

  Harold Cooper ( Github:  hrldcpr )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  这是谷歌的 Pie Shop 基于 MusicVAEMusicVAE.js API 实现的一个交互 demo。Latent Loops 可以让你在一个由不同音阶组成的方阵里挑选曲子并生成循环的曲子,再用这些生成一个更长的曲子。搞音乐的人可以用这个界面创建一个完整的曲子并轻松地将它挪到他们自己的数字音乐工作站中。

  3. Melody Mixer [ demo  blog  code ]

  Torin Blankensmith ( Github:  torinmb , Twitter: tBlankensmith )

  Kyle Phillips ( Github:  hapticdata , Twitter: hapticdata )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  这个 demo 是由谷歌 Creative Lab 基于 MusicVAEMusicVAE.js API 创建的。它能让你轻松生成两小段曲子之间的过渡音乐。

  4. PerformanceRNN [ demo  blog  code ]

  Curtis Hawthorne ( Github: cghawthorne )

  Nikhil Thorat ( Github: nsthorat , Twitter: nsthorat )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  PerformanceRNN 可以在浏览器里实时演奏钢琴,他是用 TensorFlow.js 开发的。

  5. SketchRNN [ demo  blog  code ]

  David Ha ( Github: hardmaru , Twitter:   hardmaru )

  Jonas Jongejan ( Github:  HalfdanJ , Twitter: HalfdanJ )

  Ian Johnson ( Github: enjalot , Twitter: enjalot )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  这个 demo 可以让你和 SketchRNN 一起画画。

  6. NSynth Sound Maker [ demo  blog  code ]

  Yotam Mann ( Github: tambien , Twitter: yotammann )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  一个基于 NSynth 的交互 AI 的尝试,NSynth 是与谷歌 Creative Lab 合作完成, 你可以选择两种乐器将他们合成一个新的音乐。

  7. A.I. Duet [ demo  blog  code ]

  Yotam Mann ( Github:  tambien , Twitter:  yotammann )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  一个基于 NSynth 的交互 AI 的例子,MelodyRNN 是与谷歌 Creative Lab 合作完成的,它让你通过机器学习来作曲。通过很多 MIDI 的例子来训练一个神经网络让它学习音乐概念,创建一个关于音符和时序图。你演奏一些音符,看看它如何反应的吧。

  Colab 笔记本

  Colaboratory 是谷歌的一个用于普及机器学习教育和研究的研究项目。环境是 Jupyter 笔记本,完全运行在云端,不需要本地进行设置。

  我们为 Colab 笔记本提供了一些模型,这些模型可以让你在托管的谷歌云实例上与它们进行免费交互。

  8. E-Z NSynth [ demo ]

  Jesse Engel ( Github:  jesseengel , Twitter:  jesseengel )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  这个 Colab 笔记本能够免费帮助你上传你自己的声音文件,然后使用 NSynth 模型对这些声音文件进行重建修改。

  9. MusicVAE [ demo ]

  Adam Roberts ( Github: adarob , Twitter: ada_rob )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  MusicVAE 学习乐谱的潜在空间。 此 Colab 笔记本提供的功能可供您从先前的分配中随机抽样,并在几个预先训练的 MusicVAE 模型的现有序列之间进行插值。你还可以将结果与 MusicVAE 论文中描述的基准模型进行比较,这篇论文的题目是:用于学习音乐长期结构的分层潜在矢量模型

  10. Onsets and Frames [ demo ]

  Curtis Hawthorne ( Github:  cghawthorne )

  Onsets and Frames 是一个自动钢琴音乐转录模型。 这款 Colab 笔记本演示了在用户提供的录音上模型的运行。

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  11. Latent Constraints [ demo ]

  Jesse Engel ( Github:  jesseengel , Twitter:  jesseengel )

  有关潜在约束的运行实验代码:无条件生成模型的条件生成。

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  本机应用

  本机应用程序在本地机器上运行,通常需要您安装其他软件,但有时更适合专业人士使用。

  12.  NSynth MaxForLive Device [ blog  code ]

  Jesse Engel ( Gituhub:  jesseengel , Twitter:  jesseengel )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  MaxForLive 设备集成到 Max MSPAbleton Live 中。 它可以让你通过直观的网格界面探索 NSynth 声音的空间。

  13. A.I. Jam (NIPS 2016 Demo) [ blog  code ]

  Adam Roberts ( Gituhub: adarob , Twitter:  ada_rob )

  Jesse Engel ( Gituhub:  jesseengel , Twitter:  jesseengel )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  互动式“A.I. Jam 使用 AI Duet 的前端构建的“Jam Session”,结合 Magenta MIDI 界面,在浏览器中重现屡获殊荣的 Magenta 2016 NIPS 演示体验。

  社区贡献

  社区贡献都是在没有谷歌参与的情况下创建的,使用的是 Magenta 模型和库。 如果你有一个你认为属于这里的演示,请通过我们的讨论组分享。

  14. Latent Cycles [ demo  blog  code ]

  Tero Parviainen ( Gituhub: teropa , Twitter:  teropa )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  使用 ImprovRNN 的 Magenta MusicVAE 模型种子生成旋律循环的潜在空间,然后相互演奏循环,探索潜在的谐波可能性。                                     

  由 TensorFlow.jsMagenta.js 提供支持。

  15. Neural Drum Machine [ demo  blog  code ]

  Tero Parviainen ( Gituhub: teropa , Twitter: teropa )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  由 TensorFlow.js 和 Magenta 的 DrumsRNN 和 MusicVAE 提供动力的实验电子鼓乐器。 要使用它,请在左侧定义种子模式,并使用“生成”按钮。 DrumsRNN 梦想着延续你的种子模式。 “密度”滑块使用 MusicVAE 添加或删除图案中的点击。

  16. Neural Arpeggiator [ demo  blog  code ]

  Tero Parviainen ( Gituhub: teropa , Twitter:  teropa )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  保持一个音符或和弦,让深度神经网络在其周围播放琶音模式。

  由 TensorFlow.js 和 Magenta 的 ImprovRNN 提供支持。

  17. Neural Melody Autocompletion [ demo  blog  code ]

  Tero Parviainen ( Gituhub:  teropa ,Twitter:  teropa )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  播放并保持旋律或和弦,让深层神经网络为您完成。

  由 TensorFlow.js 和 Magenta 的 ImprovRNN 提供支持。

  18. Deep Roll [ demo  blog  code ]

  Tero Parviainen ( Gituhub: teropa , Twitter:  teropa )

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  一个深度的神经网络,在你的浏览器中做出旋律。 

  由 TensorFlow.js 和 Magenta 的 ImprovRNN 提供支持。

  这些旋律是由 ImprovRNN 生成的,和弦产生条件是通过使用马尔可夫链生成的。

  19. mSynth [ demo  blog  code ]

  Hanoi Hantrakul ( Gituhub: lamtharnhantrakul)

用机器学习搞技术,谷歌 Megenta 项目集锦(附 Github)

  mSynth 是一款在 2017 年 Outside Hacks 中获得第一名的应用程序,Outside Hacks 是旧金山 Outside Lands 音乐节上举办的官方 24 小时音乐编程马拉松。该团队开发了一个艺术家观众交互式体验,节日观众可以通过倾斜手机实时共同控制 Magenta 的 NSynth。 

  博客原址 https://magenta.tensorflow.org/demos

未经允许不得转载:ItYet » 用机器学习搞技术,谷歌Megenta项目集锦(附Github)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

欢迎技术交流

我的简介联系我们
召唤伊斯特瓦尔