我一直在开发一个网站,每小时将输入约1200万条代码(~1GB/Data)进入 MySQL 数据库。 在查看不同的 VPS 和 Amazon ec2 之后,我正考虑采用最具成本效益的解决方案。
至于网站的访问者,每月只应该有~300-600公里的页面浏览量(班达维兹15GB的页面浏览量),平均分布在一天。
当我输入数据时, 我使用“ IN FILE ”, 并同时导入 ~ 200-350k 的线条, 只需要~ 1 - 3 秒。 导入数据通过 Cron Job 运行, 每分钟运行一次( 每天运行~ 1400 次 ) 。
使用VPS,还是使用亚马逊EC2更好吗? 如果我使用亚马逊EC2,CPU的钉子对微型甚至小型(需要高CPU中度)来说会不会太大?
如果有人能分享一些关于 CPU MySQL 实际拉动到 ~ 1 - 3 秒的 CPU MySQL 多少或者允许微集在 CPU 时间的 多少的洞察力的话 。
如果我采用VPS路线,我将从获得S1软件包,必要时升级为S3。
在不知道您正在装入的数据的细节的情况下, 很难多说这一点。 MySQL 是否必须更新表格中的索引? 一切是否都已经正确排序? 有多少列? 您在您的 LOAD DATA INFILE 语句( 例如, 替换字符串的部分) 中执行任何CPU密集操作吗? 旧数据是在一段时间后删除的, 还是应该保留所有数据用于您的应用程序的寿命?
话虽如此, 听上去似乎只有一个微实例可能会遇到处理此问题的麻烦 。 导入数据应该是可以的, 只要您以大量 EBS 存储( 可能是在 RAID 配置中) 支持该实例, 但是如果该单一实例也会负责在如此大的数据集上运行用户查询, 则可能不会非常顺利运行 。 在导入脚本运行时, 您最多会给用户请求带来几秒钟的延迟时间 。 取决于您的应用程序, 这可能会被接受, 也可能不被接受 。
如果您要对您的数据进行昂贵的查询, 我现在可以说, 单个微实例不会很好地发挥作用 : () 您可以扩大范围, 或根据您的需要, 您也可以考虑使用“ 简单DB” 或类似的 NSQL 解决方案( 虽然这在您的导入脚本中需要更多代码, 因为您每批最多要做25个批次的批次配置 ) 。
但这些只是一些一般的想法。 AWS实际上为新用户提供了免费使用级别, 这使您可以在无需支付一毛钱的情况下连续运行整个 EC2 Micro实例, 那么为什么不注册一个账户并运行自己的测试? 更多细节 < a href="" "http://aws. amazon.com/free/"rel=" rel="nolf" >这里。 < a href="""""http://docs.amazonwebservices.com/AWSEC2/latest/ UserGuide/conceptives_micro_intances.html" rel="nofollow"。 < a > 提供一些关于微实例如何运作及其适合应用的更一般性的信息。
I noticed that there were some threads with similar questions, and I did look through them but did not really get a convincing answer. Here s my question: The subquery below returns a Table with 3 ...
<?php $con=mysql_connect("localhost","mts","mts"); if(!con) { die( unable to connect . mysql_error()); } mysql_select_db("mts",$con); /* date_default_timezone_set ("Asia/Calcutta"); $date = ...
我把我的用心从使用QQL转向MySQL。 它与凯科特合作,现在不工作,因为我已经改变,使用MySQL。 这里的错误信息是:
We have a restaurant table that has lat-long data for each row. We need to write a query that performs a search to find all restaurants within the provided radius e.g. 1 mile, 5 miles etc. We have ...
Is it possible in php to return a specific row of data from a mysql query? None of the fetch statements that I ve found return a 2 dimensional array to access specific rows. I want to be able to ...
Our website was developed with a meta tag set to... <meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" /> This works fine for M-dashes and special quotes, etc. However, I ...
What are some of the strategies being used for pagination of data sets that involve complex queries? count(*) takes ~1.5 sec so we don t want to hit the DB for every page view. Currently there are ~...
My table looks like person_id | car_id | miles ------------------------------ 1 | 1 | 100 1 | 2 | 200 2 | 3 | 1000 2 | 4 | 500 I need to ...
