You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-09-23 - 23:29
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of all highest latencies:
System rackdslot2.osadl.org (updated Sat Sep 23, 2023 12:46:29)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
571221740,5sleep31577499cyclictest10:15:043
154082166146,9sleep30-21swapper/307:09:073
15771998416,13cyclictest9483-21tr11:30:210
152062762,18sleep20-21swapper/207:06:272
15773997465,5cyclictest33-21ksoftirqd/207:40:052
15771997310,15cyclictest5575-21apt-config10:15:000
15773997263,5cyclictest33-21ksoftirqd/208:10:052
15771997211,13cyclictest30004-21sed12:15:010
15771997210,12cyclictest15494-21cat11:40:390
15773997133,10cyclictest33-21ksoftirqd/211:00:002
15771997110,13cyclictest30492-21irqrtprio11:05:300
15771997110,13cyclictest23015-21cut12:00:000
15771997110,12cyclictest1442-21timerwakeupswit07:45:360
57698700,45rtkit-daemon0-21swapper/007:06:090
15773997027,9cyclictest33-21ksoftirqd/211:49:242
170872690,2sleep20-21swapper/207:10:342
15773996934,10cyclictest33-21ksoftirqd/210:05:382
15771996911,11cyclictest8958-21unixbench_singl12:35:380
1577399688,8cyclictest33-21ksoftirqd/210:35:342
15773996826,10cyclictest33-21ksoftirqd/210:00:322
1577199688,19cyclictest558-21rs:main0
15771996811,13cyclictest26542-21sed07:30:370
15771996811,13cyclictest26542-21sed07:30:370
15771996811,10cyclictest16971-21fw_packets08:20:240
228952670,4sleep022897-21fschecks_count10:50:260
15773996732,10cyclictest33-21ksoftirqd/212:35:012
15773996730,9cyclictest33-21ksoftirqd/211:20:012
15773996730,10cyclictest33-21ksoftirqd/211:35:392
15773996730,10cyclictest33-21ksoftirqd/209:50:232
15773996727,9cyclictest33-21ksoftirqd/209:06:462
15773996726,9cyclictest33-21ksoftirqd/212:08:432
1577199679,9cyclictest6966-21apt-get08:00:190
15771996710,11cyclictest1019-21sendmail_mailst11:10:350
15773996659,4cyclictest33-21ksoftirqd/210:15:042
15773996632,9cyclictest33-21ksoftirqd/210:32:452
15773996632,9cyclictest33-21ksoftirqd/210:32:452
15773996632,10cyclictest33-21ksoftirqd/211:40:392
15773996632,10cyclictest33-21ksoftirqd/209:00:222
15773996632,10cyclictest33-21ksoftirqd/209:00:222
15773996629,10cyclictest33-21ksoftirqd/207:45:362
1577199669,10cyclictest20152-21apt-get10:45:190
1577399654,7cyclictest321ktimersoftd/212:40:012
15773996530,10cyclictest33-21ksoftirqd/208:00:202
15773996529,10cyclictest33-21ksoftirqd/212:25:222
1577199659,9cyclictest19912-21python11:50:330
15771996510,18cyclictest18695-21/usr/sbin/munin08:25:350
15773996429,10cyclictest33-21ksoftirqd/209:20:212
1577399640,60cyclictest321ktimersoftd/211:30:282
1577199649,9cyclictest24297-21ls12:00:340
1577199649,9cyclictest24297-21ls12:00:330
1577199649,9cyclictest14584-21ls10:30:380
1577199649,9cyclictest14584-21ls10:30:380
1577199648,16cyclictest1638-21ls12:20:380
15771996410,10cyclictest26130-21sensors_temp10:55:370
1577399633,10cyclictest0-21swapper/208:05:282
15773996330,9cyclictest33-21ksoftirqd/209:45:362
15773996329,9cyclictest33-21ksoftirqd/209:42:472
15773996328,10cyclictest33-21ksoftirqd/208:25:342
1577199639,10cyclictest15503-21ls08:15:380
186072620,5sleep21577399cyclictest08:25:002
15773996228,9cyclictest33-21ksoftirqd/209:27:462
15773996227,10cyclictest33-21ksoftirqd/210:46:502
1577199629,9cyclictest18991-21irqstats07:15:280
1577399617,8cyclictest33-21ksoftirqd/210:25:242
1577399617,8cyclictest33-21ksoftirqd/210:25:242
15773996126,9cyclictest33-21ksoftirqd/208:54:012
1577199618,9cyclictest30397-21apt-get08:50:200
1577199618,8cyclictest1139-21snmpd09:34:320
123591610,4ptp4l401ktimersoftd/307:10:003
123591610,1ptp4l401ktimersoftd/311:15:273
1577399607,7cyclictest33-21ksoftirqd/210:50:352
1577399606,7cyclictest33-21ksoftirqd/210:20:262
15773996027,9cyclictest33-21ksoftirqd/210:12:532
1577199609,9cyclictest5620-21ls07:55:340
1577199608,9cyclictest14920-21diskstats09:25:260
15771996010,9cyclictest9784-21users10:20:380
15771996010,9cyclictest18753-21meminfo10:40:270
15774995952,4cyclictest41-21ksoftirqd/308:45:003
15773995927,9cyclictest33-21ksoftirqd/209:36:242
15774995852,4cyclictest41-21ksoftirqd/309:54:593
1577399587,8cyclictest33-21ksoftirqd/207:50:282
1577399586,9cyclictest33-21ksoftirqd/209:55:352
15773995824,9cyclictest33-21ksoftirqd/207:15:242
15773995820,9cyclictest33-21ksoftirqd/208:40:012
1577199589,9cyclictest3602-21meminfo09:00:310
1577199589,9cyclictest3602-21meminfo09:00:310
1577199589,9cyclictest27296-21memory09:50:320
123591580,1ptp4l401ktimersoftd/308:35:183
1577399575,8cyclictest33-21ksoftirqd/211:20:222
1577399575,5cyclictest0-21swapper/208:15:352
15773995751,3cyclictest311rcuc/211:25:262
1577399573,7cyclictest33-21ksoftirqd/208:49:032
15773995728,10cyclictest33-21ksoftirqd/209:30:312
15773995724,10cyclictest33-21ksoftirqd/209:15:262
1577399570,5cyclictest321ktimersoftd/211:10:012
1577399566,8cyclictest33-21ksoftirqd/208:30:362
1577399565,7cyclictest33-21ksoftirqd/211:05:252
15773995649,4cyclictest33-21ksoftirqd/212:20:342
15773995639,5cyclictest33-21ksoftirqd/207:25:322
15771995610,10cyclictest12570-21memory11:35:320
1577399555,8cyclictest33-21ksoftirqd/207:35:242
1577399555,8cyclictest0-21swapper/207:30:302
1577399555,8cyclictest0-21swapper/207:30:302
1577399555,6cyclictest33-21ksoftirqd/207:20:322
1577399554,9cyclictest33-21ksoftirqd/212:00:202
1577399554,9cyclictest33-21ksoftirqd/212:00:202
15773995549,4cyclictest33-21ksoftirqd/211:55:262
15773995537,6cyclictest33-21ksoftirqd/211:50:312
1577399552,8cyclictest321ktimersoftd/207:55:312
1577399552,6cyclictest33-21ksoftirqd/211:00:032
1577399550,6cyclictest321ktimersoftd/208:55:222
1577199558,15cyclictest28406-21ls07:35:270
15771995510,10cyclictest4020-21mailstats12:25:350
15771995510,10cyclictest28598-21perl08:45:270
15771995510,10cyclictest1687-21ls08:55:360
15774995447,4cyclictest41-21ksoftirqd/311:15:013
15774995447,4cyclictest41-21ksoftirqd/309:40:003
15773995448,3cyclictest33-21ksoftirqd/209:10:262
15771995410,12cyclictest3206-21/usr/sbin/munin10:10:340
15774995347,3cyclictest41-21ksoftirqd/308:20:003
15774995347,3cyclictest41-21ksoftirqd/308:10:223
1577399536,8cyclictest33-21ksoftirqd/208:43:442
15773995348,3cyclictest33-21ksoftirqd/212:15:372
15773995346,4cyclictest33-21ksoftirqd/212:15:012
1577199539,10cyclictest11409-21ls09:15:360
1577199538,9cyclictest26284-21iostat_ios12:05:280
1577199538,9cyclictest16301-21apt-get11:45:190
15774995246,3cyclictest41-21ksoftirqd/311:00:003
15774995245,4cyclictest41-21ksoftirqd/312:20:003
1577399526,7cyclictest33-21ksoftirqd/210:42:282
70382510,2sleep30-21swapper/308:00:203
1577199519,10cyclictest12319-21hddtemp_smartct08:10:250
15774995044,3cyclictest41-21ksoftirqd/307:50:003
15774994943,4cyclictest41-21ksoftirqd/311:05:003
15774994943,4cyclictest41-21ksoftirqd/308:29:593
15774994942,4cyclictest41-21ksoftirqd/311:20:213
15774994942,4cyclictest41-21ksoftirqd/307:40:003
1577199499,10cyclictest23351-21hddtemp_smartct07:25:280
15771994910,10cyclictest16023-21perl10:35:250
15772994842,4cyclictest25-21ksoftirqd/108:35:001
1577199489,10cyclictest5912-21iostat09:05:280
15774994741,4cyclictest41-21ksoftirqd/310:00:003
1577199479,10cyclictest2617-21users10:05:400
15774994640,4cyclictest41-21ksoftirqd/311:40:373
15774994640,4cyclictest41-21ksoftirqd/309:30:333
15774994639,4cyclictest41-21ksoftirqd/311:50:003
1577199467,9cyclictest29532-21apt-get07:40:040
15771994613,19cyclictest32062-21awk10:00:330
15774994539,4cyclictest41-21ksoftirqd/311:34:593
15774994539,4cyclictest41-21ksoftirqd/309:25:013
15774994539,4cyclictest41-21ksoftirqd/308:55:223
15774994539,3cyclictest41-21ksoftirqd/310:50:013
15774994539,3cyclictest41-21ksoftirqd/310:10:213
15774994538,4cyclictest41-21ksoftirqd/310:40:363
15774994538,4cyclictest41-21ksoftirqd/307:20:333
1532924515,19sleep10-21swapper/107:08:031
123591450,1ptp4l401ktimersoftd/309:00:233
123591450,1ptp4l401ktimersoftd/309:00:233
57698430,2rtkit-daemon0-21swapper/110:17:511
15774994338,3cyclictest41-21ksoftirqd/312:10:333
15774994337,4cyclictest41-21ksoftirqd/310:06:303
15774994337,3cyclictest41-21ksoftirqd/307:30:003
15774994336,4cyclictest41-21ksoftirqd/312:21:273
15774994336,4cyclictest41-21ksoftirqd/312:05:003
15774994336,4cyclictest41-21ksoftirqd/312:04:593
15774994336,4cyclictest41-21ksoftirqd/307:35:003
15774994336,4cyclictest41-21ksoftirqd/307:35:003
123591430,1ptp4l401ktimersoftd/307:40:193
15774994237,3cyclictest41-21ksoftirqd/309:10:283
15774994236,4cyclictest41-21ksoftirqd/311:05:443
15774994236,4cyclictest41-21ksoftirqd/308:45:313
15774994236,3cyclictest41-21ksoftirqd/309:45:013
15774994234,5cyclictest41-21ksoftirqd/309:48:233
15772994236,4cyclictest25-21ksoftirqd/110:25:001
15772994236,3cyclictest25-21ksoftirqd/110:06:371
15772994236,3cyclictest25-21ksoftirqd/109:50:591
15772994235,4cyclictest25-21ksoftirqd/112:17:491
15772994223,12cyclictest0-21swapper/108:50:201
15771994211,18cyclictest10591-21/usr/sbin/munin10:25:370
15771994211,18cyclictest10591-21/usr/sbin/munin10:25:370
15774994136,3cyclictest41-21ksoftirqd/308:10:013
15774994134,4cyclictest41-21ksoftirqd/309:07:123
15774994133,5cyclictest41-21ksoftirqd/310:25:483
15774994133,5cyclictest41-21ksoftirqd/310:25:483
15772994134,4cyclictest25-21ksoftirqd/112:02:371
15772994134,4cyclictest25-21ksoftirqd/112:02:361
15772994134,4cyclictest25-21ksoftirqd/108:40:031
15771994134,4cyclictest9-21ksoftirqd/012:31:180
15771994116,21cyclictest3317-21ls11:15:340
15774994035,3cyclictest41-21ksoftirqd/310:55:003
15774994035,3cyclictest41-21ksoftirqd/310:20:213
15774994034,4cyclictest41-21ksoftirqd/309:15:233
15774994034,4cyclictest41-21ksoftirqd/308:50:223
15774994034,3cyclictest41-21ksoftirqd/310:31:273
15774994034,3cyclictest41-21ksoftirqd/310:31:273
15774994034,3cyclictest41-21ksoftirqd/307:55:323
15774994033,3cyclictest41-21ksoftirqd/310:00:213
15774994032,5cyclictest41-21ksoftirqd/312:05:213
1577499400,3cyclictest121rcu_preempt12:40:013
15772994035,3cyclictest25-21ksoftirqd/107:20:011
15772994034,4cyclictest25-21ksoftirqd/112:30:341
15772994034,4cyclictest25-21ksoftirqd/112:05:361
15772994033,4cyclictest25-21ksoftirqd/110:46:511
15772994033,4cyclictest25-21ksoftirqd/109:56:141
15772994033,4cyclictest25-21ksoftirqd/107:54:301
15772994033,4cyclictest25-21ksoftirqd/107:28:381
1577199408,9cyclictest1139-21snmpd09:49:350
15771994032,5cyclictest9-21ksoftirqd/007:51:340
15774993934,3cyclictest41-21ksoftirqd/310:40:013
15774993933,4cyclictest41-21ksoftirqd/308:30:323
15774993933,3cyclictest41-21ksoftirqd/307:15:133
15774993931,5cyclictest41-21ksoftirqd/311:37:273
15772993934,3cyclictest25-21ksoftirqd/108:00:391
15772993933,3cyclictest25-21ksoftirqd/111:57:331
15772993933,3cyclictest25-21ksoftirqd/111:47:381
15772993933,3cyclictest25-21ksoftirqd/111:33:141
15772993933,3cyclictest25-21ksoftirqd/110:40:341
15772993932,5cyclictest25-21ksoftirqd/108:09:491
15772993932,4cyclictest25-21ksoftirqd/110:34:431
15772993932,4cyclictest25-21ksoftirqd/110:34:431
15772993932,4cyclictest25-21ksoftirqd/109:46:321
15772993932,4cyclictest25-21ksoftirqd/108:38:141
15772993932,4cyclictest25-21ksoftirqd/107:32:201
15772993932,4cyclictest25-21ksoftirqd/107:32:201
15772993931,5cyclictest25-21ksoftirqd/109:28:211
15772993928,4cyclictest25-21ksoftirqd/111:37:281
15771993933,3cyclictest9-21ksoftirqd/008:31:340
15771993932,4cyclictest9-21ksoftirqd/009:20:020
15771993932,4cyclictest9-21ksoftirqd/008:38:270
15774993833,3cyclictest41-21ksoftirqd/307:50:223
15774993832,4cyclictest15337-21irqrtprio09:25:323
15774993832,3cyclictest41-21ksoftirqd/311:55:003
15774993831,4cyclictest41-21ksoftirqd/312:31:573
15772993832,4cyclictest25-21ksoftirqd/112:35:381
15772993832,3cyclictest25-21ksoftirqd/111:12:401
15772993831,4cyclictest25-21ksoftirqd/112:12:431
15772993831,4cyclictest25-21ksoftirqd/109:14:371
15772993831,4cyclictest25-21ksoftirqd/109:00:111
15772993831,4cyclictest25-21ksoftirqd/109:00:111
15772993831,4cyclictest25-21ksoftirqd/108:28:371
15772993831,4cyclictest25-21ksoftirqd/107:43:231
15772993830,5cyclictest25-21ksoftirqd/109:19:031
15772993830,4cyclictest25-21ksoftirqd/111:07:581
15771993830,5cyclictest9-21ksoftirqd/009:14:070
15771993810,24cyclictest21971-21tune2fs09:40:240
1750423728,4sleep125-21ksoftirqd/109:30:281
15774993730,4cyclictest41-21ksoftirqd/311:55:203
15774993730,4cyclictest41-21ksoftirqd/311:28:033
15774993729,5cyclictest41-21ksoftirqd/312:30:003
15772993732,3cyclictest25-21ksoftirqd/107:23:561
15772993731,3cyclictest30304-21kworker/1:207:10:361
15772993731,3cyclictest25-21ksoftirqd/109:21:131
15772993731,3cyclictest25-21ksoftirqd/107:48:221
15772993730,4cyclictest25-21ksoftirqd/110:50:521
15772993730,4cyclictest25-21ksoftirqd/110:26:211
15772993730,4cyclictest25-21ksoftirqd/110:26:211
15772993730,4cyclictest25-21ksoftirqd/110:14:101
15772993730,4cyclictest25-21ksoftirqd/109:37:121
15772993730,4cyclictest25-21ksoftirqd/108:59:191
15772993729,4cyclictest25-21ksoftirqd/107:55:201
15772993630,3cyclictest25-21ksoftirqd/111:54:311
15772993630,3cyclictest25-21ksoftirqd/111:43:371
15772993628,5cyclictest25-21ksoftirqd/111:22:391
15772993618,9cyclictest25-21ksoftirqd/112:25:191
1577199368,12cyclictest0-21swapper/011:20:340
15771993629,4cyclictest9-21ksoftirqd/007:10:160
15772993529,4cyclictest25-21ksoftirqd/108:45:131
15772993529,3cyclictest25-21ksoftirqd/110:56:231
15772993529,3cyclictest25-21ksoftirqd/107:39:061
15772993528,4cyclictest25-21ksoftirqd/111:29:191
15772993528,4cyclictest25-21ksoftirqd/108:19:301
15771993530,3cyclictest9-21ksoftirqd/008:40:190
15771993510,12cyclictest0-21swapper/011:01:130
15774993427,4cyclictest41-21ksoftirqd/308:20:273
15772993429,3cyclictest25-21ksoftirqd/110:36:081
15771993427,4cyclictest9-21ksoftirqd/008:05:390
15772993327,3cyclictest25-21ksoftirqd/111:17:541
15772993327,3cyclictest25-21ksoftirqd/109:44:161
15772993327,3cyclictest25-21ksoftirqd/108:13:241
15772993326,4cyclictest25-21ksoftirqd/112:20:031
15772993326,4cyclictest25-21ksoftirqd/110:02:051
15771993124,4cyclictest9-21ksoftirqd/009:38:360
15771993023,4cyclictest9-21ksoftirqd/012:16:510
15771993016,10cyclictest7397-21df_abs11:25:240
1577299297,20cyclictest0-21swapper/109:06:081
15772992923,4cyclictest25-21ksoftirqd/111:02:081
15772992923,4cyclictest25-21ksoftirqd/108:23:011
15771992915,10cyclictest29055-21df_abs09:55:250
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional