You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2022-01-23 - 19:37

Intel(R) Atom(TM) CPU E3845 @ 1.91GHz, Linux 4.19.37-rt20 (Profile)

Latency plot of system in rack #b, slot #6
Data to construct the above plot have been generated using the RT test utility cyclictest.
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackbslot6.osadl.org (updated Sun Jan 23, 2022 12:43:31)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
680021610,3sleep3456999cyclictest09:21:293
1628721570,5sleep3456999cyclictest12:41:053
911911030,4ptp4l401ktimersoftd/308:08:173
33472840,2sleep00-21swapper/009:11:460
47272800,4sleep2456399cyclictest10:51:262
146532710,2sleep00-21swapper/011:01:240
221902680,2sleep20-21swapper/211:07:522
264292650,2sleep10-21swapper/110:40:331
91191630,1ptp4l401ktimersoftd/311:15:523
50502590,2sleep20-21swapper/210:17:372
4557995540,8cyclictest25-21ksoftirqd/112:36:271
456999534,14cyclictest29197-21chrt10:06:383
38982530,2sleep00-21swapper/013:32:340
456999528,10cyclictest6915-21munin-node08:16:043
456999523,13cyclictest22351-21gltestperf11:41:333
456999518,7cyclictest20451-21processes13:16:423
456999514,18cyclictest13930-21snmp_o5powerctl10:26:413
456999513,13cyclictest9412-21date10:56:093
456999512,14cyclictest15928-21grep12:06:483
456999503,16cyclictest4191-21grep09:16:263
456999503,13cyclictest1946-21fschecks_time13:31:313
456999497,8cyclictest15519-21if_enp1s0.108:31:293
456999495,11cyclictest6830-21ssh10:20:483
456999492,14cyclictest23792-21irqrtprio09:56:333
456999492,14cyclictest23792-21irqrtprio09:56:333
456999492,12cyclictest23235-21irqrtprio10:36:373
456999483,12cyclictest22071-21expr12:46:343
456999483,10cyclictest12223-21needreboot09:31:353
456999477,7cyclictest8164-21fschecks_count08:16:283
456999476,8cyclictest0-21swapper/312:11:463
456999476,12cyclictest46350irq/99-ens3-TxR11:56:393
456999473,11cyclictest4192-21rm12:27:223
456999472,12cyclictest19569-21/usr/sbin/munin11:06:453
456999471,14cyclictest27866-21sed12:51:383
456999471,14cyclictest1336-21ssh10:46:443
456999471,13cyclictest31585-21sed10:11:323
456999471,13cyclictest18965-21awk08:36:363
456999463,12cyclictest23570-21snmp_o5powerctl08:46:323
456999461,13cyclictest1713-21cat11:21:083
456999461,12cyclictest12507-21sed08:26:053
4553994611,3cyclictest283302expr11:46:440
4563994522,3cyclictest33-21ksoftirqd/211:41:332
4563994521,4cyclictest33-21ksoftirqd/209:06:322
326462450,2sleep20-21swapper/212:24:132
456999448,7cyclictest8161-21phc2sys-jitter12:31:393
456999441,23cyclictest20584-21/usr/sbin/munin09:51:273
456999441,12cyclictest9548-21cstates13:06:343
456999440,13cyclictest28203-21cut10:41:363
456999440,12cyclictest9614-21fschecks_time12:01:303
456999440,12cyclictest19301-21cat09:46:373
456999440,12cyclictest11145-21/usr/sbin/munin10:56:383
4563994435,4cyclictest33-21ksoftirqd/212:06:292
4563994420,4cyclictest33-21ksoftirqd/210:36:492
4563994419,4cyclictest33-21ksoftirqd/209:41:312
456999438,10cyclictest631-21sh11:51:383
456999435,6cyclictest0-21swapper/308:46:053
456999432,8cyclictest24699-21hddtemp_smartct13:21:353
456999431,17cyclictest11686-21cat11:31:093
456999431,17cyclictest11686-21cat11:31:093
456999430,20cyclictest12943-21fschecks_time08:26:253
456999430,20cyclictest12943-21fschecks_time08:26:253
456999430,12cyclictest482-21ps09:06:373
4563994330,3cyclictest33-21ksoftirqd/209:36:292
4563994319,4cyclictest33-21ksoftirqd/209:51:312
4563994319,4cyclictest33-21ksoftirqd/208:41:052
456999425,6cyclictest0-21swapper/311:31:463
456999421,16cyclictest32222-21perl12:56:333
456999421,13cyclictest17355-21cat09:41:453
456999420,16cyclictest21321-21idleruntime-cro12:46:103
456999420,12cyclictest9167-21grep09:26:293
456999420,12cyclictest25498-21cat10:01:263
4563994230,5cyclictest33-21ksoftirqd/209:16:252
4563994218,4cyclictest33-21ksoftirqd/211:31:312
4563994217,6cyclictest33-21ksoftirqd/211:16:272
4563994214,5cyclictest33-21ksoftirqd/209:11:262
4563994212,6cyclictest33-21ksoftirqd/209:56:292
4563994212,6cyclictest33-21ksoftirqd/209:56:292
455399422,6cyclictest0-21swapper/011:36:270
456999413,10cyclictest26503-21sh12:17:133
456999410,18cyclictest30616-21cat13:26:483
4563994132,5cyclictest33-21ksoftirqd/208:26:222
4563994132,5cyclictest33-21ksoftirqd/208:26:222
4563994129,4cyclictest33-21ksoftirqd/211:26:362
4563994129,4cyclictest33-21ksoftirqd/211:26:362
4563994128,3cyclictest33-21ksoftirqd/212:01:272
4563994119,7cyclictest33-21ksoftirqd/213:26:352
4563994117,4cyclictest33-21ksoftirqd/212:31:392
455399413,8cyclictest11857-21apt-get12:36:280
455399411,8cyclictest4555-21latency_hist08:11:040
455399411,5cyclictest0-21swapper/012:46:310
4553994114,23cyclictest14184-21cat12:06:270
4553994113,24cyclictest7891-21sh13:04:380
4553994111,4cyclictest7020-21cut08:16:040
91191400,1ptp4l401ktimersoftd/313:01:123
91191400,1ptp4l401ktimersoftd/311:22:043
91191400,1ptp4l401ktimersoftd/311:22:043
4563994024,12cyclictest33-21ksoftirqd/213:26:122
4563994019,7cyclictest33-21ksoftirqd/212:41:402
4563994017,4cyclictest33-21ksoftirqd/211:01:262
4563994016,4cyclictest33-21ksoftirqd/212:36:322
4563994016,4cyclictest33-21ksoftirqd/212:16:382
4563994016,4cyclictest33-21ksoftirqd/211:46:352
455399402,5cyclictest0-21swapper/012:13:180
455399401,7cyclictest24167-21apt-get13:21:300
91191390,1ptp4l401ktimersoftd/311:03:173
456999393,6cyclictest0-21swapper/313:14:113
4563993922,14cyclictest33-21ksoftirqd/211:11:342
4563993920,7cyclictest33-21ksoftirqd/213:41:122
4563993918,7cyclictest33-21ksoftirqd/210:41:402
4563993916,4cyclictest33-21ksoftirqd/210:11:282
4563993915,4cyclictest33-21ksoftirqd/211:36:462
4563993913,4cyclictest33-21ksoftirqd/212:51:342
4563993910,7cyclictest33-21ksoftirqd/209:31:302
455399392,7cyclictest9730-21apt-get10:56:250
455399392,6cyclictest0-21swapper/012:16:300
455399392,4cyclictest0-21swapper/012:26:280
4553993913,3cyclictest22405-21sh13:19:040
4553993913,3cyclictest17664-21expr10:31:280
91191380,1ptp4l401ktimersoftd/311:38:493
91191380,1ptp4l401ktimersoftd/310:25:233
456399384,3cyclictest33-21ksoftirqd/208:51:232
4563993827,3cyclictest33-21ksoftirqd/209:26:072
4563993824,4cyclictest33-21ksoftirqd/210:06:332
4563993823,12cyclictest33-21ksoftirqd/208:56:322
4563993822,13cyclictest33-21ksoftirqd/208:11:252
4563993819,7cyclictest33-21ksoftirqd/213:01:352
4563993816,7cyclictest33-21ksoftirqd/209:26:332
4563993814,7cyclictest33-21ksoftirqd/212:16:112
4557993828,5cyclictest25-21ksoftirqd/109:01:231
455399383,6cyclictest4802-21apt-get10:51:260
455399382,12cyclictest29415-21fschecks_count13:26:350
4553993813,4cyclictest9144-21/usr/sbin/munin12:01:440
4553993813,22cyclictest26143-21wc11:11:440
4553993812,3cyclictest22799-21cut09:56:070
4553993810,4cyclictest899-21runrttasks13:12:220
233023817,11sleep233-21ksoftirqd/208:06:222
110042380,2sleep00-21swapper/011:30:150
110042380,2sleep00-21swapper/011:30:150
91191370,1ptp4l401ktimersoftd/313:36:213
91191370,0ptp4l401ktimersoftd/310:32:563
456999373,6cyclictest29982-21diskmemload12:24:063
456399379,7cyclictest33-21ksoftirqd/213:11:462
456399376,3cyclictest33-21ksoftirqd/211:51:272
4563993725,4cyclictest33-21ksoftirqd/210:06:072
4563993725,3cyclictest33-21ksoftirqd/213:11:112
456399372,4cyclictest33-21ksoftirqd/213:31:372
4563993718,7cyclictest33-21ksoftirqd/213:16:402
4563993714,4cyclictest33-21ksoftirqd/211:21:452
4563993714,4cyclictest33-21ksoftirqd/211:21:452
4563993713,4cyclictest33-21ksoftirqd/209:46:352
455399379,3cyclictest26159-21sed08:51:360
455399371,33cyclictest0-21swapper/009:56:450
455399371,33cyclictest0-21swapper/009:56:450
4553993712,3cyclictest18126-21cat09:46:060
4553993712,3cyclictest17031-21latency_hist08:36:050
4553993712,3cyclictest10304-21sh10:23:190
4553993711,5cyclictest30621-21processes12:21:390
4553993710,3cyclictest22485-21df08:46:210
4553993710,3cyclictest18502-21expr09:46:300
455399370,34cyclictest899-21runrttasks11:45:520
91191360,1ptp4l401ktimersoftd/311:47:263
456399365,6cyclictest121rcu_preempt08:46:252
4563993626,3cyclictest33-21ksoftirqd/208:41:182
456399362,4cyclictest33-21ksoftirqd/210:46:452
4563993614,7cyclictest33-21ksoftirqd/208:21:252
4563993613,4cyclictest33-21ksoftirqd/209:01:332
4563993610,6cyclictest33-21ksoftirqd/210:31:342
455399369,5cyclictest46450irq/100-ens3-Tx11:16:480
455399369,4cyclictest22211-1kworker/u9:013:36:520
455399369,3cyclictest27517-21expr10:41:290
455399369,3cyclictest22901-21if_enp1s010:36:330
455399369,3cyclictest13753-21latency_hist13:11:110
455399368,4cyclictest18012-21open_inodes12:41:380
455399363,5cyclictest27930-21apt-get10:06:250
4553993611,3cyclictest2277-21cstates11:21:280
4553993611,3cyclictest2277-21cstates11:21:280
4553993610,3cyclictest32436-21if_ens312:56:360
4553993610,3cyclictest13277-21irqrtprio08:26:290
4553993610,3cyclictest13277-21irqrtprio08:26:290
456399357,6cyclictest33-21ksoftirqd/212:01:102
456399351,3cyclictest33-21ksoftirqd/212:56:332
4563993512,4cyclictest33-21ksoftirqd/210:21:322
4563993512,4cyclictest33-21ksoftirqd/208:16:312
4563993511,4cyclictest33-21ksoftirqd/212:47:492
455399359,3cyclictest5736-21sh10:18:570
455399353,6cyclictest29357-21apt-get09:01:230
4553993511,4cyclictest8886-21cpuspeed_turbos09:26:260
4553993510,3cyclictest31641-21cut10:11:330
125602350,2sleep10-21swapper/112:04:131
4563993428,3cyclictest33-21ksoftirqd/212:26:312
455399349,3cyclictest19729-21grep11:06:280
455399348,3cyclictest12639-21cstates10:26:280
4553993412,3cyclictest29982-21diskmemload11:33:210
4553993411,3cyclictest29982-21diskmemload10:49:120
456399339,4cyclictest33-21ksoftirqd/208:31:422
456399332,4cyclictest33-21ksoftirqd/210:26:452
4563993310,4cyclictest33-21ksoftirqd/210:56:332
455399332,7cyclictest8401-21snmp_o5powerctl12:31:430
4553993310,3cyclictest4209-21/usr/sbin/munin11:56:380
455399328,3cyclictest27196-21expr08:56:290
456999312,13cyclictest29112-21sed09:01:063
455799319,19cyclictest3019-21python09:11:401
4553993111,3cyclictest101ktimersoftd/011:53:490
217452310,4sleep1241ktimersoftd/112:13:041
456999305,6cyclictest0-21swapper/308:51:193
4557992924,3cyclictest25-21ksoftirqd/111:16:281
4557992915,11cyclictest32147-21grep09:06:291
4553992910,2cyclictest271462sleep010:01:580
4557992822,3cyclictest25-21ksoftirqd/112:51:361
4557992822,3cyclictest25-21ksoftirqd/110:31:341
4557992822,3cyclictest25-21ksoftirqd/110:11:101
4557992822,3cyclictest25-21ksoftirqd/108:51:201
4557992817,6cyclictest25-21ksoftirqd/108:41:171
455399282,6cyclictest19857-21apt-get08:41:180
43392286,10sleep10-21swapper/108:09:361
456999275,7cyclictest0-21swapper/309:36:253
456999270,10cyclictest0-21swapper/309:16:063
455799274,14cyclictest12458-21ssh10:26:261
4557992722,3cyclictest25-21ksoftirqd/113:11:361
4557992721,4cyclictest25-21ksoftirqd/111:36:351
4557992720,4cyclictest23850-21irqrtprio09:56:331
4557992720,4cyclictest23850-21irqrtprio09:56:331
4557992717,5cyclictest25-21ksoftirqd/111:46:261
4557992717,5cyclictest25-21ksoftirqd/108:31:221
282522270,2sleep00-21swapper/012:51:460
4557992621,3cyclictest25-21ksoftirqd/112:26:361
4557992621,3cyclictest25-21ksoftirqd/112:06:361
4557992621,3cyclictest25-21ksoftirqd/111:41:331
4557992621,3cyclictest25-21ksoftirqd/111:26:091
4557992621,3cyclictest25-21ksoftirqd/111:26:091
4557992621,3cyclictest25-21ksoftirqd/111:01:341
4557992621,3cyclictest25-21ksoftirqd/111:01:071
4557992621,3cyclictest25-21ksoftirqd/109:36:341
4557992621,3cyclictest25-21ksoftirqd/109:16:331
4557992620,3cyclictest25-21ksoftirqd/113:41:131
4557992620,3cyclictest25-21ksoftirqd/110:01:341
4557992620,3cyclictest25-21ksoftirqd/109:54:051
4557992619,4cyclictest6765-21tune2fs09:21:291
4557992619,4cyclictest25-21ksoftirqd/108:48:501
4557992614,6cyclictest25-21ksoftirqd/108:21:211
455799252,7cyclictest121rcu_preempt11:08:331
4557992520,3cyclictest25-21ksoftirqd/113:16:311
4557992520,3cyclictest25-21ksoftirqd/111:31:281
4557992520,3cyclictest25-21ksoftirqd/110:16:321
4557992519,3cyclictest25-21ksoftirqd/112:16:111
4557992519,3cyclictest25-21ksoftirqd/108:16:311
4557992518,4cyclictest25-21ksoftirqd/109:45:521
4557992515,8cyclictest25-21ksoftirqd/112:21:481
91191240,1ptp4l401ktimersoftd/309:01:303
4557992420,3cyclictest25-21ksoftirqd/113:26:371
4557992419,3cyclictest25-21ksoftirqd/111:56:351
4557992419,3cyclictest25-21ksoftirqd/111:11:341
4557992419,3cyclictest25-21ksoftirqd/110:51:081
4557992419,3cyclictest25-21ksoftirqd/110:21:331
4557992418,3cyclictest25-21ksoftirqd/108:39:451
4557992417,4cyclictest25-21ksoftirqd/110:06:561
4553992418,3cyclictest9-21ksoftirqd/009:32:060
455799232,11cyclictest31766-21ssh11:51:271
4557992318,3cyclictest25-21ksoftirqd/113:26:121
4557992318,3cyclictest25-21ksoftirqd/110:41:271
4557992318,2cyclictest25-21ksoftirqd/113:31:391
4557992317,4cyclictest25-21ksoftirqd/109:48:171
455399230,12cyclictest0-21swapper/009:16:080
4557992217,3cyclictest25-21ksoftirqd/112:33:211
4557992217,3cyclictest25-21ksoftirqd/108:26:201
4557992217,3cyclictest25-21ksoftirqd/108:26:201
4557992216,3cyclictest25-21ksoftirqd/112:50:591
4557992216,3cyclictest25-21ksoftirqd/109:32:241
4557992216,3cyclictest25-21ksoftirqd/109:29:251
4557992216,3cyclictest25-21ksoftirqd/108:15:181
4557992213,4cyclictest25-21ksoftirqd/113:01:301
455799213,9cyclictest4809-21ssh10:51:271
4557992116,3cyclictest25-21ksoftirqd/113:06:401
4557992116,3cyclictest25-21ksoftirqd/112:45:571
4557992015,2cyclictest25-21ksoftirqd/112:56:151
4557992013,4cyclictest6983-21/usr/sbin/munin11:26:361
4557992013,4cyclictest6983-21/usr/sbin/munin11:26:361
4557992013,4cyclictest26895-21/usr/sbin/munin08:56:381
4553992015,3cyclictest9-21ksoftirqd/009:36:560
4553992013,4cyclictest8041-21expr08:16:260
455399201,17cyclictest0-21swapper/008:36:290
455399201,16cyclictest0-21swapper/008:21:270
455399200,17cyclictest32137-21gltestperf09:06:290
4553991913,3cyclictest899-21runrttasks09:24:210
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional