You are here: Home / Projects / QA Farm Realtime / Latency plots / 
2021-09-17 - 22:06

Intel(R) Atom(TM) CPU E3845 @ 1.91GHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #3
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the alll highest latencies:
System rackdslot3.osadl.org (updated Fri Sep 17, 2021 12:46:07)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1283912060,10ptp4l5319-21kworker/3:007:09:593
746221700,8sleep2207399cyclictest07:15:122
566981200,44rtkit-daemon0-21swapper/207:05:412
1540211190,10sleep10-21swapper/107:08:281
14622804,19sleep00-21swapper/007:07:340
61692750,4sleep1241ktimersoftd/111:15:011
207499701,29cyclictest2022-21/usr/sbin/munin07:50:113
207499700,26cyclictest28385-21cat09:00:163
2073996813,23cyclictest6626-21smartctl09:55:022
2072996853,8cyclictest25-21ksoftirqd/112:35:131
2072996853,8cyclictest25-21ksoftirqd/112:35:121
2072996754,7cyclictest25-21ksoftirqd/107:25:121
2072996752,8cyclictest25-21ksoftirqd/111:55:131
2072996553,6cyclictest25-21ksoftirqd/109:05:191
293322640,6sleep3207499cyclictest09:40:303
207399641,4cyclictest32278-21/usr/sbin/munin09:05:142
2072996453,6cyclictest25-21ksoftirqd/107:50:141
2072996328,9cyclictest25-21ksoftirqd/111:20:101
2072996328,9cyclictest25-21ksoftirqd/111:20:101
2072996241,4cyclictest25-21ksoftirqd/112:15:141
2072996229,7cyclictest25-21ksoftirqd/110:15:101
4412610,2sleep20-21swapper/210:25:192
2072996151,5cyclictest25-21ksoftirqd/108:40:131
2072996151,5cyclictest25-21ksoftirqd/108:40:131
2072996129,9cyclictest25-21ksoftirqd/112:25:141
2072996027,8cyclictest25-21ksoftirqd/109:00:021
2072996027,10cyclictest25-21ksoftirqd/112:05:141
2072996026,9cyclictest25-21ksoftirqd/108:55:131
2072996026,9cyclictest25-21ksoftirqd/107:25:011
2072996026,8cyclictest25-21ksoftirqd/110:30:281
2072996024,8cyclictest25-21ksoftirqd/109:40:241
2072995951,4cyclictest25-21ksoftirqd/111:35:151
2072995928,9cyclictest25-21ksoftirqd/110:10:311
2072995928,10cyclictest25-21ksoftirqd/109:10:091
2072995927,10cyclictest25-21ksoftirqd/108:20:261
2072995924,8cyclictest25-21ksoftirqd/110:45:291
2072995924,8cyclictest25-21ksoftirqd/110:40:411
2072995912,4cyclictest25-21ksoftirqd/111:30:061
212522580,2sleep30-21swapper/310:10:263
207499580,25cyclictest0-21swapper/307:45:303
2072995830,8cyclictest25-21ksoftirqd/112:00:331
2072995830,8cyclictest25-21ksoftirqd/107:40:081
2072995829,9cyclictest25-21ksoftirqd/111:25:211
2072995828,8cyclictest25-21ksoftirqd/109:25:261
2072995828,4cyclictest25-21ksoftirqd/107:45:121
207299579,8cyclictest25-21ksoftirqd/108:15:181
2072995729,8cyclictest25-21ksoftirqd/108:25:191
2072995728,8cyclictest25-21ksoftirqd/112:20:121
2072995727,4cyclictest25-21ksoftirqd/112:32:341
2072995723,8cyclictest25-21ksoftirqd/107:30:101
2072995723,8cyclictest25-21ksoftirqd/107:30:101
2072995722,9cyclictest25-21ksoftirqd/110:00:061
2072995722,8cyclictest25-21ksoftirqd/110:35:071
2072995722,7cyclictest25-21ksoftirqd/109:30:131
34212560,4sleep23424-21missed_timers09:10:112
2072995646,3cyclictest25-21ksoftirqd/111:40:121
2072995628,8cyclictest25-21ksoftirqd/109:50:031
2072995625,9cyclictest25-21ksoftirqd/110:05:071
2072995625,7cyclictest25-21ksoftirqd/107:35:341
2072995624,9cyclictest25-21ksoftirqd/110:20:061
2072995624,11cyclictest25-21ksoftirqd/111:50:001
2072995623,9cyclictest25-21ksoftirqd/110:50:211
2072995623,8cyclictest25-21ksoftirqd/111:50:041
2072995623,8cyclictest25-21ksoftirqd/109:45:261
128391560,1ptp4l391rcuc/308:12:563
128391560,17ptp4l3213-21kworker/3:107:40:403
2072995532,11cyclictest25-21ksoftirqd/110:55:061
2072995526,8cyclictest25-21ksoftirqd/108:10:201
128391550,1ptp4l391rcuc/309:22:293
2072995443,4cyclictest25-21ksoftirqd/109:20:071
2072995443,3cyclictest25-21ksoftirqd/109:55:271
2072995442,4cyclictest25-21ksoftirqd/108:50:021
2072995428,8cyclictest25-21ksoftirqd/111:15:111
2072995424,8cyclictest25-21ksoftirqd/108:45:011
2072995421,8cyclictest25-21ksoftirqd/108:00:051
71242530,2sleep00-21swapper/011:55:100
2074995238,7cyclictest41-21ksoftirqd/312:30:153
207299527,8cyclictest25-21ksoftirqd/109:35:091
207299526,7cyclictest25-21ksoftirqd/107:55:141
207299524,10cyclictest25-21ksoftirqd/107:10:171
2072995223,8cyclictest25-21ksoftirqd/112:10:401
2072995219,8cyclictest25-21ksoftirqd/111:00:101
2072995210,4cyclictest25-21ksoftirqd/108:05:291
2072995141,3cyclictest25-21ksoftirqd/108:35:031
2072995138,4cyclictest25-21ksoftirqd/110:25:061
2072995124,4cyclictest25-21ksoftirqd/107:19:451
2072995121,8cyclictest25-21ksoftirqd/111:05:021
207299507,7cyclictest25-21ksoftirqd/109:15:231
207299493,5cyclictest25-21ksoftirqd/108:30:081
207399477,35cyclictest0-21swapper/212:15:132
207399475,26cyclictest15730-21/usr/sbin/munin08:05:132
2073994734,10cyclictest22589-21cron10:15:002
128391470,2ptp4l8540-21hwlatdetect07:15:253
207499462,38cyclictest23923-21apt-get12:15:133
207499462,38cyclictest15982-21apt-get11:25:143
207499462,37cyclictest3836-21apt-get09:10:133
207399463,33cyclictest11658-21apt-get08:00:142
207399461,29cyclictest30190-21/usr/sbin/munin08:25:142
128391460,1ptp4l401ktimersoftd/308:55:283
2073994537,5cyclictest30087-21sshd09:03:452
207399453,35cyclictest23945-21chrt08:15:172
207399452,37cyclictest4119-21apt-get12:30:142
128391450,1ptp4l401ktimersoftd/311:36:593
128391450,1ptp4l401ktimersoftd/310:05:073
326612440,4sleep332667-21cpuspeed_turbos12:25:243
207499443,34cyclictest7828-21apt-get07:55:153
207499442,35cyclictest3650-21apt-get08:30:163
207399443,35cyclictest24021-21apt-get09:35:122
207399443,32cyclictest32003-21apt-get11:05:112
207399443,31cyclictest19934-21apt-get08:10:172
128391440,1ptp4l401ktimersoftd/307:34:453
128391440,1ptp4l401ktimersoftd/307:34:443
207499432,34cyclictest32020-21apt-get11:45:143
207399433,34cyclictest28460-21apt-get11:00:172
2073994326,14cyclictest33-21ksoftirqd/210:46:222
207399432,31cyclictest27696-21apt-get08:20:142
207399431,26cyclictest2750-21/usr/sbin/munin10:30:032
2074994214,24cyclictest32018-21sed11:05:113
207499421,35cyclictest0-21swapper/308:00:143
207499421,34cyclictest23941-21apt-get08:15:183
207399424,30cyclictest0-21swapper/209:50:132
42272410,2sleep00-21swapper/011:10:210
207499412,32cyclictest0-21swapper/308:50:163
207399413,31cyclictest0-21swapper/207:45:122
207399413,30cyclictest28295-21apt-get11:40:192
207399413,30cyclictest20108-21apt-get07:30:172
207399413,30cyclictest20108-21apt-get07:30:162
207399413,29cyclictest19796-21apt-get08:50:122
207399413,29cyclictest11689-21apt-get08:40:162
207399413,29cyclictest11689-21apt-get08:40:162
207399412,31cyclictest8144-21apt-get11:15:162
207399410,5cyclictest9894-21sendmail08:00:012
207499403,30cyclictest3925-21apt-get09:50:123
207499402,32cyclictest0-21swapper/310:55:163
2074994013,23cyclictest26383-21sendmail09:39:593
207399404,28cyclictest7301-21apt-get08:35:132
207399403,31cyclictest4140-21apt-get11:10:192
207399403,30cyclictest3292-21apt-get08:30:122
207399403,30cyclictest28418-21apt-get09:40:202
207399402,32cyclictest0-21swapper/211:25:142
207399400,5cyclictest14401-21cron10:45:002
128391400,1ptp4l401ktimersoftd/311:10:203
71612390,8sleep2207399cyclictest12:35:072
71612390,8sleep2207399cyclictest12:35:062
207499393,29cyclictest27929-21apt-get11:40:123
207499392,30cyclictest28158-21apt-get12:20:143
207499392,29cyclictest28602-21apt-get10:20:143
2074993913,22cyclictest20896-21smartctl09:30:223
207499391,31cyclictest0-21swapper/310:25:153
207499391,31cyclictest0-21swapper/308:20:133
2074993911,24cyclictest20573-21expr10:50:163
207399395,29cyclictest0-21swapper/209:15:122
207399394,30cyclictest28625-21strings10:20:152
207399394,29cyclictest0-21swapper/211:35:122
207399394,29cyclictest0-21swapper/209:20:122
207399393,29cyclictest0-21swapper/212:20:142
207399392,29cyclictest16365-21apt-get09:25:172
207399391,4cyclictest20733-21taskset11:30:202
2073993910,25cyclictest19106-21timerwakeupswit09:30:062
207399390,5cyclictest13069-21irqrtprio10:00:242
2071993933,3cyclictest9-21ksoftirqd/011:40:000
128391390,1ptp4l401ktimersoftd/307:13:053
207499383,29cyclictest7912-21apt-get09:15:133
207499382,32cyclictest32455-21sort09:05:193
207499382,30cyclictest12019-21apt-get10:00:123
207499382,29cyclictest23755-21apt-get07:35:133
2074993815,20cyclictest9588-21timedrift12:35:333
2074993815,20cyclictest9588-21timedrift12:35:323
207499381,33cyclictest8126-21basename09:55:153
2074993813,22cyclictest26733-21sed11:00:003
207499381,31cyclictest0-21swapper/308:40:163
207499381,31cyclictest0-21swapper/308:40:163
2074993811,24cyclictest4567-21if_enp4s011:50:263
207399383,29cyclictest0-21swapper/211:45:142
207399383,28cyclictest15953-21apt-get08:45:202
207399382,29cyclictest23801-21apt-get08:55:122
2073993813,22cyclictest27771-21phc2sys07:40:112
2073993813,21cyclictest6869-21grep11:55:082
2073993813,21cyclictest24178-21basename10:55:152
207399380,4cyclictest8461-21cpuspeed_turbos10:35:162
207399380,3cyclictest0-21swapper/212:05:132
207399380,3cyclictest0-21swapper/211:25:002
207399380,3cyclictest0-21swapper/211:25:002
207399380,2cyclictest0-21swapper/207:10:042
207499377,26cyclictest8455-21grep11:55:203
207499372,30cyclictest0-21swapper/311:15:173
207499372,29cyclictest0-21swapper/310:45:173
207499372,28cyclictest4301-21apt-get10:30:163
2074993713,20cyclictest14081-21/usr/sbin/munin08:45:093
207499371,31cyclictest0-21swapper/308:35:133
207499371,31cyclictest0-21swapper/308:25:133
2074993712,22cyclictest9969-21/usr/sbin/munin12:00:063
2074993710,23cyclictest18226-21cat08:10:013
207499370,33cyclictest10684-21uname07:20:063
207399374,27cyclictest0-21swapper/210:05:132
207399373,30cyclictest4127-21cpuspeed_turbos11:50:202
207399373,28cyclictest0-21swapper/207:50:172
207399372,28cyclictest24240-21apt-get10:15:122
207399372,27cyclictest24113-21apt-get07:35:162
207399370,4cyclictest18616-21expr12:10:042
2071993731,3cyclictest9-21ksoftirqd/010:40:000
207499361,29cyclictest0-21swapper/310:40:183
207499361,28cyclictest0-21swapper/310:15:133
2074993611,22cyclictest16288-21acpi09:25:163
207399364,27cyclictest14332-21switchtime07:25:002
207399363,27cyclictest0-21swapper/212:00:152
207399360,4cyclictest30703-21apt-config09:45:002
2071993630,4cyclictest9-21ksoftirqd/012:35:070
2071993630,4cyclictest9-21ksoftirqd/012:35:070
2071993630,4cyclictest9-21ksoftirqd/009:35:030
2071993630,4cyclictest9-21ksoftirqd/007:25:000
2071993629,4cyclictest9-21ksoftirqd/010:15:060
371023527,4sleep09-21ksoftirqd/009:10:140
207499352,28cyclictest20087-21apt-get12:10:243
207499351,30cyclictest11174-21grep11:20:073
207499351,30cyclictest11174-21grep11:20:073
2074993512,19cyclictest14274-21/usr/sbin/munin12:05:053
2074993510,22cyclictest19619-21cat11:30:103
2074993510,22cyclictest14844-21cat07:25:053
207499350,31cyclictest32391-21acpi09:45:153
2073993529,3cyclictest33-21ksoftirqd/212:28:352
2073993511,21cyclictest20119-21bc10:50:142
2071993530,3cyclictest9-21ksoftirqd/008:20:130
2071993529,4cyclictest9-21ksoftirqd/007:45:060
2071993529,3cyclictest9-21ksoftirqd/009:30:030
2071993528,4cyclictest9-21ksoftirqd/011:26:040
2071993528,4cyclictest9-21ksoftirqd/008:27:010
2071993527,4cyclictest9-21ksoftirqd/011:05:040
2074993428,4cyclictest41-21ksoftirqd/310:35:443
207399340,2cyclictest0-21swapper/207:25:052
2071993429,3cyclictest9-21ksoftirqd/010:20:120
2071993429,3cyclictest9-21ksoftirqd/007:40:010
2071993427,4cyclictest9-21ksoftirqd/009:02:060
2071993328,3cyclictest9-21ksoftirqd/011:40:050
2071993328,3cyclictest9-21ksoftirqd/007:50:290
2071993327,3cyclictest9-21ksoftirqd/010:08:190
2071993327,3cyclictest9-21ksoftirqd/008:46:000
2071993327,3cyclictest9-21ksoftirqd/008:03:430
2071993326,4cyclictest9-21ksoftirqd/012:20:580
2071993326,4cyclictest9-21ksoftirqd/012:01:470
2071993326,4cyclictest9-21ksoftirqd/009:49:590
2071993326,4cyclictest9-21ksoftirqd/007:18:050
2071993226,4cyclictest29895-21kworker/0:109:20:110
2071993226,3cyclictest9-21ksoftirqd/010:51:530
2071993226,3cyclictest9-21ksoftirqd/010:48:110
2071993226,3cyclictest9-21ksoftirqd/010:01:170
2071993226,3cyclictest9-21ksoftirqd/009:52:490
2071993226,3cyclictest9-21ksoftirqd/009:08:330
2071993226,3cyclictest9-21ksoftirqd/008:07:450
2071993225,4cyclictest9-21ksoftirqd/011:02:470
2071993225,4cyclictest9-21ksoftirqd/008:43:430
2071993225,4cyclictest9-21ksoftirqd/008:43:430
2071993225,4cyclictest9-21ksoftirqd/007:42:470
207199320,3cyclictest121rcu_preempt07:25:230
2071993125,3cyclictest9-21ksoftirqd/011:00:000
2071993125,3cyclictest9-21ksoftirqd/010:31:340
2071993125,3cyclictest9-21ksoftirqd/010:13:100
2071993125,3cyclictest9-21ksoftirqd/009:15:050
2071993125,3cyclictest9-21ksoftirqd/008:15:420
2071993125,3cyclictest9-21ksoftirqd/007:59:110
2071993124,4cyclictest9-21ksoftirqd/011:54:250
2071993124,4cyclictest9-21ksoftirqd/011:31:050
2071993124,4cyclictest9-21ksoftirqd/010:00:000
2071993025,3cyclictest9-21ksoftirqd/009:25:300
2071993025,3cyclictest9-21ksoftirqd/007:10:240
2071993024,4cyclictest9-21ksoftirqd/009:42:090
2071993024,4cyclictest9-21ksoftirqd/008:57:350
2071993024,3cyclictest9-21ksoftirqd/012:31:330
2071993024,3cyclictest9-21ksoftirqd/011:19:200
2071993023,4cyclictest9-21ksoftirqd/012:17:460
2071992924,3cyclictest9-21ksoftirqd/012:10:000
2071992923,4cyclictest9-21ksoftirqd/008:50:080
2071992922,4cyclictest9-21ksoftirqd/012:29:460
2071992922,4cyclictest9-21ksoftirqd/012:07:420
2071992823,3cyclictest9-21ksoftirqd/007:30:220
2071992823,3cyclictest9-21ksoftirqd/007:30:210
2071992822,4cyclictest9-21ksoftirqd/011:45:070
2071992822,3cyclictest9-21ksoftirqd/008:13:460
2071992821,4cyclictest9-21ksoftirqd/010:29:390
2071992820,5cyclictest9-21ksoftirqd/008:36:080
2071992720,4cyclictest9-21ksoftirqd/010:42:230
2071992621,3cyclictest9-21ksoftirqd/011:22:400
2071992621,3cyclictest9-21ksoftirqd/011:22:390
2071992619,4cyclictest9-21ksoftirqd/008:30:250
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional