You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-10-10 - 23:02
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot3.osadl.org (updated Wed Oct 02, 2019 00:45:06)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
35452246171,19sleep20-21swapper/219:07:562
36162244170,45sleep10-21swapper/119:08:501
36182233169,54sleep30-21swapper/319:08:523
35132223193,19sleep00-21swapper/019:07:300
69442510,8sleep2321ktimersoftd/223:10:192
3912994919,6cyclictest33-21ksoftirqd/221:35:042
3912994844,2cyclictest33-21ksoftirqd/221:20:142
3912994742,3cyclictest33-21ksoftirqd/221:10:172
391299472,3cyclictest121rcu_preempt21:18:232
3912994621,3cyclictest33-21ksoftirqd/222:55:012
391299460,7cyclictest33-21ksoftirqd/222:38:372
3912994541,3cyclictest33-21ksoftirqd/200:10:012
3912994540,3cyclictest33-21ksoftirqd/219:45:132
3912994540,2cyclictest33-21ksoftirqd/220:20:172
3912994523,8cyclictest33-21ksoftirqd/222:15:092
3912994440,2cyclictest33-21ksoftirqd/223:39:592
3912994439,3cyclictest33-21ksoftirqd/220:50:062
3912994420,3cyclictest33-21ksoftirqd/221:40:162
3912994414,6cyclictest33-21ksoftirqd/221:10:002
391299440,5cyclictest121rcu_preempt22:05:172
3911994439,3cyclictest25-21ksoftirqd/122:10:061
3912994339,2cyclictest33-21ksoftirqd/220:35:092
3912994338,3cyclictest33-21ksoftirqd/222:20:182
3912994338,3cyclictest33-21ksoftirqd/220:00:122
3912994320,4cyclictest33-21ksoftirqd/221:33:352
3912994320,3cyclictest33-21ksoftirqd/221:50:082
3912994318,3cyclictest33-21ksoftirqd/223:46:382
3912994317,5cyclictest33-21ksoftirqd/200:03:402
3912994314,3cyclictest33-21ksoftirqd/222:30:102
3912994314,3cyclictest33-21ksoftirqd/222:30:092
3912994238,3cyclictest33-21ksoftirqd/200:32:042
3912994221,9cyclictest33-21ksoftirqd/220:55:192
3912994218,4cyclictest33-21ksoftirqd/222:56:002
3912994216,4cyclictest33-21ksoftirqd/219:15:132
256792420,1sleep10-21swapper/123:55:171
3912994137,2cyclictest33-21ksoftirqd/223:05:162
3912994136,3cyclictest33-21ksoftirqd/220:41:092
3912994117,3cyclictest33-21ksoftirqd/223:35:002
3912994117,3cyclictest33-21ksoftirqd/222:28:142
3912994117,3cyclictest33-21ksoftirqd/222:28:132
3912994116,3cyclictest33-21ksoftirqd/223:50:072
3912994115,7cyclictest33-21ksoftirqd/223:55:182
391399401,2cyclictest0-21swapper/322:05:063
3912994036,3cyclictest33-21ksoftirqd/223:25:072
3912994015,5cyclictest33-21ksoftirqd/219:27:502
3912994014,4cyclictest33-21ksoftirqd/219:55:152
3912994014,4cyclictest33-21ksoftirqd/219:55:152
3912994013,6cyclictest33-21ksoftirqd/200:20:002
391299396,3cyclictest33-21ksoftirqd/220:30:102
391299395,7cyclictest33-21ksoftirqd/200:05:152
3912993917,7cyclictest33-21ksoftirqd/220:05:082
3912993917,3cyclictest33-21ksoftirqd/219:35:362
3912993914,3cyclictest33-21ksoftirqd/219:30:152
3912993913,3cyclictest33-21ksoftirqd/220:10:072
3910993933,3cyclictest9-21ksoftirqd/021:55:060
3910993931,5cyclictest9-21ksoftirqd/019:40:080
391299389,5cyclictest33-21ksoftirqd/222:40:202
3912993829,2cyclictest33-21ksoftirqd/223:40:142
3912993829,2cyclictest33-21ksoftirqd/221:45:052
3912993819,7cyclictest33-21ksoftirqd/220:47:032
3912993817,3cyclictest33-21ksoftirqd/200:27:042
3912993814,3cyclictest33-21ksoftirqd/223:17:092
391399371,5cyclictest23841-21chrt22:35:073
391399370,3cyclictest16475-21grep22:15:153
391299371,5cyclictest33-21ksoftirqd/219:40:092
3912993715,3cyclictest33-21ksoftirqd/219:50:182
3912993715,3cyclictest33-21ksoftirqd/219:12:382
3912993712,5cyclictest33-21ksoftirqd/223:25:002
391299371,1cyclictest0-21swapper/223:00:102
3912993710,4cyclictest33-21ksoftirqd/222:10:032
3910993731,3cyclictest9-21ksoftirqd/023:24:590
3913993614,19cyclictest4221-21sed23:05:093
3913993612,21cyclictest20891-21cat19:50:113
3913993611,21cyclictest8993-21grep19:20:133
391299366,10cyclictest33-21ksoftirqd/222:00:072
3912993633,2cyclictest33-21ksoftirqd/222:45:082
3912993631,3cyclictest33-21ksoftirqd/220:15:112
3911993614,18cyclictest1370-21snmpd19:57:011
3911993614,18cyclictest1370-21snmpd19:57:001
3913993512,20cyclictest17207-21sed23:35:173
391399350,3cyclictest22816-21sendmail_mailqu22:30:173
391399350,3cyclictest22816-21sendmail_mailqu22:30:163
3913993417,13cyclictest10119-21apt-get19:25:043
3913993416,15cyclictest1370-21snmpd19:13:373
391299344,2cyclictest33-21ksoftirqd/200:37:372
3912993423,2cyclictest33-21ksoftirqd/221:25:122
3912993417,9cyclictest33-21ksoftirqd/200:21:322
391099346,3cyclictest121rcu_preempt22:15:180
3910993428,4cyclictest20610-21fschecks_count23:45:100
391399339,21cyclictest23519-21fschecks_count21:15:103
3913993327,4cyclictest41-21ksoftirqd/323:10:273
3913993314,16cyclictest1141-21/usr/sbin/munin00:15:113
3912993330,2cyclictest33-21ksoftirqd/221:00:162
391299330,5cyclictest33-21ksoftirqd/221:57:082
3911993328,3cyclictest241ktimersoftd/120:40:011
391099333,4cyclictest9-21ksoftirqd/021:15:180
391099332,7cyclictest9-21ksoftirqd/022:55:100
391099332,7cyclictest121rcu_preempt23:40:090
391399324,7cyclictest7884-21gltestperf21:55:113
3913993226,4cyclictest27990-21cat21:25:143
391399321,9cyclictest6024-21apt-get19:15:053
3913993216,14cyclictest1370-21snmpd22:57:483
3913993214,16cyclictest4353-21runrttasks00:23:163
3913993213,16cyclictest11931-21/usr/sbin/munin23:25:183
3913993212,16cyclictest22043-21open_inodes21:10:143
3913993211,18cyclictest1710-21/usr/sbin/munin23:00:083
3913993211,18cyclictest10764-21/usr/sbin/munin20:45:073
3913993210,20cyclictest27955-21sed20:05:153
391399313,22cyclictest28807-21apt-get20:10:063
391399313,22cyclictest17119-21apt-get21:00:063
3913993111,17cyclictest14375-21awk20:50:153
391399310,1cyclictest0-21swapper/323:55:053
3912993126,3cyclictest1370-21snmpd19:21:222
3912993125,3cyclictest33-21ksoftirqd/220:25:182
3911993126,3cyclictest1370-21snmpd23:13:571
3911993126,3cyclictest1370-21snmpd21:47:581
3911993125,3cyclictest1370-21snmpd22:06:041
3910993127,2cyclictest9-21ksoftirqd/021:35:040
3910993126,3cyclictest1370-21snmpd21:21:110
391099311,27cyclictest29414-21bc21:30:030
391399309,18cyclictest9567-21awk20:40:123
391399307,3cyclictest30410-21gltestperf22:50:103
391399305,4cyclictest928-21gltestperf20:20:093
391399303,6cyclictest31657-21apt-get21:35:073
3913993025,3cyclictest27052-21cat00:00:103
3913993025,3cyclictest1454-21ntpd23:42:063
3913993025,3cyclictest1370-21snmpd19:56:493
3913993025,3cyclictest1370-21snmpd19:56:483
3913993024,4cyclictest1454-21ntpd22:26:503
3913993024,4cyclictest1454-21ntpd22:26:493
391399302,3cyclictest30957-21apt-get00:10:063
3913993011,15cyclictest24504-21apt-get20:00:053
391399300,1cyclictest0-21swapper/321:40:043
391399300,1cyclictest0-21swapper/321:05:093
3911993026,2cyclictest1370-21snmpd23:40:231
3911993026,2cyclictest1370-21snmpd22:49:361
3911993025,3cyclictest24447-21cat22:35:121
3911993025,3cyclictest1370-21snmpd23:27:271
3911993025,3cyclictest1370-21snmpd23:08:121
3911993025,3cyclictest1370-21snmpd22:55:301
3911993025,3cyclictest1370-21snmpd22:31:381
3911993025,3cyclictest1370-21snmpd22:31:371
3911993025,3cyclictest1370-21snmpd22:24:131
3911993025,3cyclictest1370-21snmpd22:16:011
3911993025,3cyclictest1370-21snmpd21:34:091
3911993025,3cyclictest1370-21snmpd21:09:451
3911993025,3cyclictest1370-21snmpd20:22:391
3911993025,3cyclictest1370-21snmpd19:41:181
3911993025,3cyclictest1370-21snmpd19:30:181
3911993025,3cyclictest1370-21snmpd00:18:321
3911993025,3cyclictest1370-21snmpd00:14:501
3911993025,3cyclictest1370-21snmpd00:06:491
391099304,3cyclictest121rcu_preempt20:45:090
3910993026,2cyclictest1370-21snmpd21:50:450
3910993026,2cyclictest1370-21snmpd00:14:560
3910993025,3cyclictest9-21ksoftirqd/023:15:170
3910993025,3cyclictest1370-21snmpd23:39:140
3910993025,3cyclictest1370-21snmpd23:30:060
3910993025,3cyclictest1370-21snmpd23:13:120
3910993025,3cyclictest1370-21snmpd23:05:530
3910993025,3cyclictest1370-21snmpd23:03:470
3910993025,3cyclictest1370-21snmpd22:27:530
3910993025,3cyclictest1370-21snmpd22:27:520
3910993025,3cyclictest1370-21snmpd22:04:010
3910993025,3cyclictest1370-21snmpd21:48:570
3910993025,3cyclictest1370-21snmpd20:36:370
3910993025,3cyclictest1370-21snmpd19:34:020
3910993025,3cyclictest1370-21snmpd00:23:560
3910993024,4cyclictest1370-21snmpd19:58:280
3910993024,4cyclictest1370-21snmpd19:58:270
3910993024,3cyclictest9-21ksoftirqd/021:25:080
391099301,9cyclictest9-21ksoftirqd/020:00:170
3913992924,3cyclictest1454-21ntpd00:27:073
3913992924,3cyclictest1370-21snmpd19:35:443
3913992924,3cyclictest1370-21snmpd19:30:053
391399291,4cyclictest0-21swapper/300:05:053
3913992911,16cyclictest16254-21apt-get19:40:043
3911992925,2cyclictest1370-21snmpd21:36:491
3911992925,2cyclictest1370-21snmpd21:03:411
3911992924,3cyclictest1370-21snmpd23:49:491
3911992924,3cyclictest1370-21snmpd23:35:511
3911992924,3cyclictest1370-21snmpd21:51:481
3911992924,3cyclictest1370-21snmpd20:56:201
3911992924,3cyclictest1370-21snmpd20:25:221
3911992924,3cyclictest1370-21snmpd20:06:311
3911992924,3cyclictest1370-21snmpd19:45:141
3911992924,3cyclictest1370-21snmpd00:20:441
3910992926,2cyclictest20716-21kworker/0:220:43:040
3910992925,2cyclictest1374-21lldpd22:52:210
3910992925,2cyclictest1370-21snmpd22:37:540
3910992925,2cyclictest1370-21snmpd22:32:160
3910992925,2cyclictest1370-21snmpd22:32:160
3910992925,2cyclictest1370-21snmpd20:54:560
3910992925,2cyclictest1370-21snmpd20:18:420
3910992925,2cyclictest1370-21snmpd20:08:090
3910992925,2cyclictest1370-21snmpd19:53:050
3910992925,2cyclictest1370-21snmpd00:16:210
3910992924,3cyclictest1370-21snmpd22:10:100
3910992924,3cyclictest1370-21snmpd22:08:100
3910992924,3cyclictest1370-21snmpd21:06:440
3910992924,3cyclictest1370-21snmpd20:13:400
3910992924,3cyclictest1370-21snmpd00:09:260
3910992915,2cyclictest9-21ksoftirqd/023:25:080
391399286,3cyclictest18883-21expr22:20:193
3913992823,3cyclictest7339-21cat00:30:123
3913992823,3cyclictest1454-21ntpd20:57:213
3913992823,3cyclictest1345-21runrttasks21:53:523
3913992822,4cyclictest41-21ksoftirqd/300:38:143
391399281,5cyclictest0-21swapper/321:45:053
391399281,24cyclictest11868-21latency_hist23:24:593
391399280,3cyclictest22344-21/usr/sbin/munin23:50:103
3911992824,2cyclictest1370-21snmpd21:24:291
3911992824,2cyclictest1370-21snmpd00:25:381
3911992824,2cyclictest1370-21snmpd00:00:431
3911992823,3cyclictest1370-21snmpd23:17:041
3911992823,3cyclictest1370-21snmpd23:02:171
3911992823,3cyclictest1370-21snmpd20:46:051
3911992823,3cyclictest1370-21snmpd20:44:401
3911992823,3cyclictest1370-21snmpd20:30:581
3911992823,3cyclictest1370-21snmpd20:18:521
3911992823,3cyclictest1370-21snmpd00:37:021
3911992819,2cyclictest8737-21latency_hist00:35:001
391099284,2cyclictest121rcu_preempt00:00:060
3910992824,3cyclictest9-21ksoftirqd/020:55:150
3910992824,2cyclictest1374-21lldpd22:43:190
3910992824,2cyclictest1370-21snmpd19:29:180
3910992824,2cyclictest1370-21snmpd19:12:190
3910992824,2cyclictest1370-21snmpd00:32:570
3910992823,3cyclictest9-21ksoftirqd/021:14:590
3910992823,3cyclictest4790-21cut20:30:070
3910992823,3cyclictest1370-21snmpd23:50:310
3910992823,3cyclictest1370-21snmpd21:04:350
3910992812,6cyclictest9-21ksoftirqd/000:25:100
391399279,16cyclictest4109-21chrt20:26:073
391399277,4cyclictest26726-21needreboot22:40:153
391399277,3cyclictest156062chrt23:32:293
391399276,3cyclictest13745-21cut22:10:063
391399274,3cyclictest0-21swapper/319:45:193
3913992721,4cyclictest1454-21ntpd22:47:233
3913992711,12cyclictest4649-21apt-get20:30:063
391399270,4cyclictest0-21swapper/321:20:153
3911992723,2cyclictest1370-21snmpd21:27:571
3911992723,2cyclictest1370-21snmpd21:11:381
3911992722,3cyclictest1370-21snmpd23:30:331
3911992722,3cyclictest1370-21snmpd22:42:351
3911992722,3cyclictest1370-21snmpd20:54:581
3911992722,3cyclictest1370-21snmpd20:10:091
391199272,20cyclictest7485-21apt-get21:55:071
3910992722,3cyclictest1370-21snmpd23:56:170
3910992722,3cyclictest1370-21snmpd22:45:380
3910992722,3cyclictest1370-21snmpd22:20:160
3910992722,3cyclictest1370-21snmpd00:39:410
3910992721,3cyclictest9-21ksoftirqd/020:20:130
391399265,3cyclictest7147-21sed20:35:083
391399264,3cyclictest8656-21cat23:15:213
3913992620,4cyclictest41-21ksoftirqd/322:02:333
391399261,5cyclictest29403-21/usr/sbin/munin21:30:253
3911992622,2cyclictest1370-21snmpd23:52:351
3911992622,2cyclictest1370-21snmpd23:23:091
3911992622,2cyclictest1370-21snmpd22:04:461
3911992622,2cyclictest1370-21snmpd19:25:191
3911992621,3cyclictest1370-21snmpd22:53:231
3911992621,3cyclictest1370-21snmpd22:25:011
3911992621,3cyclictest1370-21snmpd22:25:011
3911992621,3cyclictest1370-21snmpd20:02:091
3910992623,2cyclictest7652-21kworker/0:119:46:180
3910992621,3cyclictest1370-21snmpd21:43:450
3913992520,3cyclictest41-21ksoftirqd/323:45:333
3911992521,2cyclictest1370-21snmpd21:41:541
3911992521,2cyclictest1370-21snmpd19:52:001
3910992521,2cyclictest1370-21snmpd19:16:200
3910992519,4cyclictest9-21ksoftirqd/020:28:570
3911992420,2cyclictest1370-21snmpd21:15:151
3911992420,2cyclictest1370-21snmpd19:38:111
391399233,17cyclictest30846-21apache_processe20:15:033
3911992319,2cyclictest1370-21snmpd19:13:171
3911992318,3cyclictest1370-21snmpd19:16:161
391199220,21cyclictest0-21swapper/119:22:361
391099220,11cyclictest8340-21diskstats19:20:070
3910992116,3cyclictest9-21ksoftirqd/019:35:140
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional