You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-06-03 - 21:02

x86 Intel Atom E3845 @1910 MHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #4
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot4.osadl.org (updated Sat Jun 03, 2023 12:45:50)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1847521300,8sleep22282699cyclictest09:17:432
1299911140,5ptp4l401ktimersoftd/307:05:183
22827998732,9cyclictest41-21ksoftirqd/310:41:073
22826998728,9cyclictest33-21ksoftirqd/212:25:002
22827998634,9cyclictest41-21ksoftirqd/312:35:003
22826998634,9cyclictest33-21ksoftirqd/210:50:002
22827998530,9cyclictest41-21ksoftirqd/308:59:593
22827998330,9cyclictest41-21ksoftirqd/311:35:023
22827998329,8cyclictest41-21ksoftirqd/309:05:393
22826998331,9cyclictest33-21ksoftirqd/207:30:002
22827998126,9cyclictest41-21ksoftirqd/308:30:013
22826998130,9cyclictest33-21ksoftirqd/210:05:412
22826998126,10cyclictest33-21ksoftirqd/209:30:212
22827998030,8cyclictest41-21ksoftirqd/312:40:013
22827998027,9cyclictest41-21ksoftirqd/310:05:003
22827998023,10cyclictest41-21ksoftirqd/311:50:293
22826998034,10cyclictest33-21ksoftirqd/208:55:322
22826998032,10cyclictest33-21ksoftirqd/210:15:382
22826998023,9cyclictest33-21ksoftirqd/210:25:572
22827997929,9cyclictest41-21ksoftirqd/307:59:553
22827997926,9cyclictest41-21ksoftirqd/308:45:003
22827997826,9cyclictest41-21ksoftirqd/312:20:343
22827997821,9cyclictest41-21ksoftirqd/310:45:363
22826997824,10cyclictest33-21ksoftirqd/208:30:002
22827997727,8cyclictest41-21ksoftirqd/310:20:003
22827997726,9cyclictest41-21ksoftirqd/308:14:033
22827997725,9cyclictest41-21ksoftirqd/307:40:133
22827997724,10cyclictest41-21ksoftirqd/307:10:213
22826997727,9cyclictest33-21ksoftirqd/207:45:262
56498760,51rtkit-daemon1343-21mactelnetd07:06:152
22827997637,10cyclictest41-21ksoftirqd/310:35:003
22827997626,9cyclictest41-21ksoftirqd/308:35:013
22826997624,9cyclictest33-21ksoftirqd/212:20:002
22826997622,9cyclictest33-21ksoftirqd/208:50:282
22826997622,9cyclictest33-21ksoftirqd/207:40:132
22826997538,10cyclictest33-21ksoftirqd/211:40:352
22826997524,9cyclictest33-21ksoftirqd/210:30:312
22826997524,9cyclictest33-21ksoftirqd/207:50:242
22826997437,9cyclictest33-21ksoftirqd/211:05:362
22826997423,9cyclictest33-21ksoftirqd/208:24:302
2282599746,7cyclictest11798-21chrt11:20:371
22827997335,5cyclictest41-21ksoftirqd/308:55:003
22826997334,10cyclictest33-21ksoftirqd/211:00:382
22826997326,9cyclictest33-21ksoftirqd/207:34:282
22826997320,8cyclictest33-21ksoftirqd/207:15:192
2282599736,8cyclictest5159-21chrt11:07:401
22827997233,9cyclictest41-21ksoftirqd/308:15:323
22827997232,9cyclictest41-21ksoftirqd/307:20:223
22826997235,9cyclictest33-21ksoftirqd/211:20:222
22826997234,11cyclictest33-21ksoftirqd/211:45:342
22826997225,10cyclictest33-21ksoftirqd/210:57:052
22827997134,9cyclictest41-21ksoftirqd/307:50:193
22827997133,10cyclictest41-21ksoftirqd/309:45:203
22827997131,10cyclictest41-21ksoftirqd/312:00:233
22826997134,9cyclictest33-21ksoftirqd/208:30:212
22826997133,10cyclictest33-21ksoftirqd/212:25:322
22826997132,9cyclictest33-21ksoftirqd/212:35:282
22826997120,9cyclictest33-21ksoftirqd/210:10:302
22827997034,9cyclictest41-21ksoftirqd/311:00:213
22827997034,9cyclictest41-21ksoftirqd/307:30:193
22827997031,9cyclictest41-21ksoftirqd/310:53:093
22827997025,9cyclictest41-21ksoftirqd/310:25:393
22826997036,5cyclictest33-21ksoftirqd/209:05:322
22826997033,9cyclictest33-21ksoftirqd/210:40:372
22826997032,10cyclictest33-21ksoftirqd/211:15:232
22826997030,9cyclictest33-21ksoftirqd/210:00:282
22826997019,9cyclictest33-21ksoftirqd/209:40:112
22827996933,9cyclictest41-21ksoftirqd/308:00:273
22827996933,6cyclictest41-21ksoftirqd/312:05:203
22827996932,6cyclictest41-21ksoftirqd/308:45:433
22827996930,10cyclictest41-21ksoftirqd/312:10:323
22827996926,9cyclictest41-21ksoftirqd/308:25:003
22827996921,9cyclictest41-21ksoftirqd/307:15:013
22827996920,8cyclictest41-21ksoftirqd/309:42:243
22826996933,8cyclictest33-21ksoftirqd/207:55:122
22826996931,9cyclictest33-21ksoftirqd/209:20:402
22826996929,10cyclictest33-21ksoftirqd/209:35:232
22826996923,9cyclictest33-21ksoftirqd/209:55:312
22826996920,9cyclictest33-21ksoftirqd/210:35:342
22827996835,3cyclictest41-21ksoftirqd/307:49:593
22827996832,10cyclictest41-21ksoftirqd/309:25:323
22827996831,9cyclictest41-21ksoftirqd/310:20:353
22827996831,9cyclictest41-21ksoftirqd/310:20:353
22827996827,9cyclictest41-21ksoftirqd/311:24:533
22827996822,9cyclictest41-21ksoftirqd/307:25:573
22826996832,8cyclictest33-21ksoftirqd/208:10:172
22826996827,9cyclictest33-21ksoftirqd/209:45:222
2282599687,8cyclictest26370-21dpkg10:45:191
129991680,1ptp4l391rcuc/312:27:303
281822670,4sleep11258-21lldpd08:30:211
2282799676,11cyclictest41-21ksoftirqd/309:50:353
22827996733,9cyclictest41-21ksoftirqd/311:10:303
22827996733,5cyclictest41-21ksoftirqd/308:35:273
22827996731,10cyclictest41-21ksoftirqd/310:10:253
22827996730,8cyclictest41-21ksoftirqd/311:15:213
2282699676,9cyclictest33-21ksoftirqd/209:25:202
22826996732,9cyclictest33-21ksoftirqd/211:35:182
22826996729,9cyclictest33-21ksoftirqd/211:50:292
22826996729,11cyclictest33-21ksoftirqd/210:20:172
22826996729,11cyclictest33-21ksoftirqd/210:20:162
22826996724,10cyclictest33-21ksoftirqd/209:10:262
22826996724,10cyclictest33-21ksoftirqd/209:10:262
22826996721,9cyclictest33-21ksoftirqd/207:13:292
22826996715,9cyclictest33-21ksoftirqd/208:15:312
2282599676,8cyclictest11659-21sed12:30:301
22827996630,10cyclictest41-21ksoftirqd/309:15:343
22826996634,9cyclictest33-21ksoftirqd/208:40:062
22826996628,11cyclictest33-21ksoftirqd/208:00:132
22826996623,9cyclictest33-21ksoftirqd/207:20:192
22826996620,9cyclictest33-21ksoftirqd/212:12:192
22826996620,4cyclictest33-21ksoftirqd/211:14:022
2282799657,8cyclictest41-21ksoftirqd/311:45:273
2282799657,5cyclictest41-21ksoftirqd/308:10:003
22827996530,10cyclictest41-21ksoftirqd/311:55:213
22827996529,9cyclictest41-21ksoftirqd/311:40:483
22827996528,10cyclictest41-21ksoftirqd/309:30:273
22827996525,9cyclictest41-21ksoftirqd/307:35:233
22827996517,8cyclictest41-21ksoftirqd/310:05:163
22827996515,9cyclictest41-21ksoftirqd/311:25:293
22826996532,9cyclictest33-21ksoftirqd/211:55:042
22826996531,5cyclictest33-21ksoftirqd/212:00:282
22826996528,9cyclictest33-21ksoftirqd/212:31:582
2282599658,8cyclictest23778-21chrt11:46:311
2282599650,12cyclictest8339-21sendmail-mta12:25:041
2282799647,9cyclictest41-21ksoftirqd/309:10:333
2282799647,9cyclictest41-21ksoftirqd/309:10:333
22827996431,9cyclictest41-21ksoftirqd/311:30:283
22827996425,9cyclictest41-21ksoftirqd/310:55:333
22827996422,9cyclictest41-21ksoftirqd/311:05:183
2282699645,7cyclictest33-21ksoftirqd/212:10:022
2282699643,7cyclictest1258-21lldpd08:05:302
22826996427,9cyclictest33-21ksoftirqd/211:30:372
22826996426,9cyclictest33-21ksoftirqd/207:37:242
129991640,1ptp4l391rcuc/309:00:023
22827996328,9cyclictest41-21ksoftirqd/309:20:233
22827996326,10cyclictest41-21ksoftirqd/310:35:223
2282699635,8cyclictest10186-21hddtemp_smartct09:00:262
22826996328,9cyclictest33-21ksoftirqd/210:50:232
22826996328,8cyclictest33-21ksoftirqd/208:35:322
22826996327,10cyclictest33-21ksoftirqd/208:45:172
22826996324,9cyclictest33-21ksoftirqd/211:30:002
2282799624,7cyclictest41-21ksoftirqd/309:35:293
22827996227,9cyclictest41-21ksoftirqd/312:15:313
2282699613,7cyclictest1258-21lldpd09:50:012
22827995918,8cyclictest41-21ksoftirqd/309:55:033
2237825841,7sleep10-21swapper/107:08:021
22825995723,7cyclictest25-21ksoftirqd/110:17:021
2282599571,18cyclictest559-21in:imuxsock08:21:361
2282599555,8cyclictest209-21systemd-journal11:55:501
22825995525,7cyclictest25-21ksoftirqd/109:00:371
2282499544,4cyclictest121rcu_preempt11:36:160
2282599532,11cyclictest1258-21lldpd07:34:571
2282599523,6cyclictest25-21ksoftirqd/109:29:121
2282599515,8cyclictest1258-21lldpd12:17:291
2282599513,7cyclictest1258-21lldpd09:58:321
22825995122,8cyclictest25-21ksoftirqd/109:41:011
22825995012,9cyclictest1258-21lldpd08:14:511
2282499502,10cyclictest0-21swapper/009:30:210
2282599493,8cyclictest241ktimersoftd/107:26:041
2282599493,7cyclictest25-21ksoftirqd/111:17:381
2282599493,7cyclictest25-21ksoftirqd/109:05:311
22825994919,5cyclictest25-21ksoftirqd/111:02:241
2282499492,3cyclictest121rcu_preempt12:26:140
2282499491,4cyclictest121rcu_preempt08:37:000
2282599483,7cyclictest25-21ksoftirqd/107:45:011
2282599483,7cyclictest1258-21lldpd10:25:491
2282599483,6cyclictest1258-21lldpd11:26:471
2282599482,7cyclictest25-21ksoftirqd/108:09:261
2282599482,7cyclictest1258-21lldpd07:41:501
22825994820,9cyclictest25-21ksoftirqd/107:13:531
2282599480,7cyclictest1258-21lldpd10:11:381
2282499486,4cyclictest121rcu_preempt09:18:550
2282599474,8cyclictest25-21ksoftirqd/108:45:001
2282599473,7cyclictest1258-21lldpd10:31:121
2282599473,6cyclictest25-21ksoftirqd/110:00:191
2282599473,6cyclictest25-21ksoftirqd/107:23:491
22825994721,9cyclictest25-21ksoftirqd/107:52:521
22825994719,4cyclictest25-21ksoftirqd/109:16:561
2282599471,6cyclictest0-21swapper/108:53:381
2282499475,4cyclictest121rcu_preempt10:10:470
2282499474,4cyclictest121rcu_preempt12:02:080
2282599464,16cyclictest1258-21lldpd11:14:501
2282599463,8cyclictest25-21ksoftirqd/107:56:371
2282599463,7cyclictest25-21ksoftirqd/110:21:481
2282599463,7cyclictest25-21ksoftirqd/110:21:481
22825994618,5cyclictest25-21ksoftirqd/109:10:541
22825994618,5cyclictest25-21ksoftirqd/109:10:541
22824994638,4cyclictest9-21ksoftirqd/010:15:360
111452466,5sleep09-21ksoftirqd/007:53:070
22825994519,8cyclictest25-21ksoftirqd/110:55:521
22825994519,5cyclictest25-21ksoftirqd/111:30:571
22824994538,4cyclictest9-21ksoftirqd/008:25:340
2282499451,7cyclictest121rcu_preempt09:29:230
2282499451,4cyclictest121rcu_preempt12:33:080
282612445,5sleep09-21ksoftirqd/009:40:150
2282599446,9cyclictest1258-21lldpd11:50:211
2282599444,8cyclictest25-21ksoftirqd/109:34:481
2282599443,7cyclictest25-21ksoftirqd/112:12:131
2282599442,6cyclictest0-21swapper/109:21:311
2282599442,3cyclictest121rcu_preempt10:42:451
22824994436,5cyclictest1242-21snmpd07:16:500
2282599434,3cyclictest121rcu_preempt09:35:531
2282599433,7cyclictest25-21ksoftirqd/109:46:481
2282599432,16cyclictest1258-21lldpd09:50:501
22825994317,8cyclictest25-21ksoftirqd/112:00:361
22825994317,5cyclictest25-21ksoftirqd/107:39:331
22825994316,8cyclictest25-21ksoftirqd/108:16:531
2282499431,4cyclictest121rcu_preempt11:22:010
2282499431,3cyclictest121rcu_preempt12:38:180
2282499431,3cyclictest121rcu_preempt10:21:070
2282499431,3cyclictest121rcu_preempt10:21:060
2282499430,3cyclictest121rcu_preempt12:23:370
2458324224,5sleep09-21ksoftirqd/007:10:390
234782423,4sleep0121rcu_preempt10:37:250
2282599422,7cyclictest25-21ksoftirqd/110:07:111
2282599422,6cyclictest25-21ksoftirqd/107:17:521
22825994217,8cyclictest25-21ksoftirqd/111:36:281
22824994235,4cyclictest9-21ksoftirqd/012:16:010
22824994235,4cyclictest9-21ksoftirqd/010:41:490
22824994234,4cyclictest9-21ksoftirqd/009:13:400
22824994234,4cyclictest9-21ksoftirqd/009:13:400
22824994214,6cyclictest1242-21snmpd10:29:530
2282499420,3cyclictest121rcu_preempt07:26:130
22825994134,4cyclictest25-21ksoftirqd/111:43:581
22825994116,8cyclictest25-21ksoftirqd/112:23:021
22825994116,8cyclictest25-21ksoftirqd/108:39:351
22824994134,4cyclictest9-21ksoftirqd/011:11:590
2282499411,3cyclictest121rcu_preempt07:58:130
2811424022,5sleep09-21ksoftirqd/010:46:440
2282599401,7cyclictest25-21ksoftirqd/108:42:101
22825993932,4cyclictest25-21ksoftirqd/112:39:071
22825993932,4cyclictest25-21ksoftirqd/110:54:111
22825993915,4cyclictest25-21ksoftirqd/112:06:141
22824993932,4cyclictest9-21ksoftirqd/011:55:210
22824993932,4cyclictest9-21ksoftirqd/008:40:110
22824993932,4cyclictest9-21ksoftirqd/008:04:500
22824993925,5cyclictest9-21ksoftirqd/012:11:400
2282499391,3cyclictest121rcu_preempt11:47:030
22824993832,3cyclictest9-21ksoftirqd/010:06:000
22824993832,3cyclictest9-21ksoftirqd/009:39:460
22824993831,4cyclictest9-21ksoftirqd/007:21:580
2282499380,4cyclictest121rcu_preempt10:00:520
2282499380,3cyclictest121rcu_preempt08:46:510
22825993713,7cyclictest25-21ksoftirqd/108:57:531
22824993730,4cyclictest9-21ksoftirqd/011:52:360
22824993730,4cyclictest9-21ksoftirqd/009:55:120
22824993730,4cyclictest9-21ksoftirqd/009:49:490
22824993730,4cyclictest9-21ksoftirqd/008:54:490
2282499371,3cyclictest121rcu_preempt07:30:580
2282499370,3cyclictest121rcu_preempt07:47:400
636523618,5sleep09-21ksoftirqd/007:41:270
22824993629,4cyclictest9-21ksoftirqd/012:07:290
22824993629,4cyclictest9-21ksoftirqd/010:34:030
22824993629,4cyclictest9-21ksoftirqd/008:55:130
22824993629,4cyclictest9-21ksoftirqd/008:24:380
22824993628,5cyclictest9-21ksoftirqd/008:19:360
22824993528,4cyclictest9-21ksoftirqd/011:09:520
2282499350,6cyclictest121rcu_preempt08:11:420
2282499350,4cyclictest121rcu_preempt11:00:330
2282499350,3cyclictest121rcu_preempt11:17:170
223132357,15sleep00-21swapper/007:07:130
22825993429,3cyclictest25-21ksoftirqd/110:37:471
22824993427,4cyclictest9-21ksoftirqd/011:31:160
22824993427,4cyclictest9-21ksoftirqd/007:39:250
1819623326,3sleep09-21ksoftirqd/008:08:440
53023124,3sleep09-21ksoftirqd/010:59:370
2282599313,7cyclictest241ktimersoftd/108:00:261
22825993123,4cyclictest25-21ksoftirqd/108:27:141
22824993124,4cyclictest9-21ksoftirqd/009:21:480
22824992922,4cyclictest9-21ksoftirqd/008:34:090
22824992821,4cyclictest9-21ksoftirqd/010:54:300
22824992821,4cyclictest9-21ksoftirqd/009:01:240
22824992721,4cyclictest9-21ksoftirqd/009:05:020
2282499265,3cyclictest121rcu_preempt11:43:310
22824992516,6cyclictest1242-21snmpd09:53:590
22824992316,4cyclictest9-21ksoftirqd/011:29:520
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional