You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-03-21 - 05:58

x86 Intel Atom E3845 @1910 MHz, Linux 4.19.37-rt19 (Profile)

Latency plot of system in rack #d, slot #3
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Up99 -i200 -h400 --smi -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of all highest latencies:
System rackdslot3.osadl.org (updated Tue Mar 21, 2023 00:46:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2200621670,8sleep33027199cyclictest22:30:383
1020421630,8sleep23027099cyclictest19:20:232
1020421630,8sleep23027099cyclictest19:20:232
82599110180,9phc2sys0-21swapper/319:09:483
825591940,2ptp4l2047-21cat19:30:293
210812880,5sleep120948-21multi.sh19:26:081
30270998672,7cyclictest33-21ksoftirqd/219:10:152
30268998532,6cyclictest9-21ksoftirqd/019:25:010
30268998532,6cyclictest9-21ksoftirqd/019:25:000
57902840,7sleep35793-21irqrtprio00:15:233
30271998475,5cyclictest41-21ksoftirqd/300:00:153
30269998437,7cyclictest25-21ksoftirqd/119:20:301
30269998437,7cyclictest25-21ksoftirqd/119:20:301
90922820,6sleep223708-21spawn19:17:052
30271998135,3cyclictest41-21ksoftirqd/319:17:443
30268998135,8cyclictest9-21ksoftirqd/019:17:530
30271998072,4cyclictest41-21ksoftirqd/323:25:173
30271998072,4cyclictest41-21ksoftirqd/323:25:163
30271998071,4cyclictest41-21ksoftirqd/320:05:193
30271997971,4cyclictest41-21ksoftirqd/320:50:143
30271997942,4cyclictest41-21ksoftirqd/319:22:333
30271997942,4cyclictest41-21ksoftirqd/319:22:333
30271997870,4cyclictest41-21ksoftirqd/323:00:163
30268997826,5cyclictest9-21ksoftirqd/000:25:220
283882770,6sleep127531-21fstime19:05:181
30269997639,8cyclictest25-21ksoftirqd/123:10:301
110982760,6sleep011117-21/usr/sbin/munin19:25:500
30271997467,4cyclictest41-21ksoftirqd/323:05:183
30271997365,4cyclictest41-21ksoftirqd/323:10:163
30269997335,9cyclictest25-21ksoftirqd/120:55:281
30269997232,8cyclictest25-21ksoftirqd/119:17:241
30268997217,8cyclictest9-21ksoftirqd/019:10:190
12912720,2sleep20-21swapper/200:05:352
30271997162,5cyclictest41-21ksoftirqd/322:55:173
30271997161,6cyclictest41-21ksoftirqd/320:00:153
30271997133,7cyclictest41-21ksoftirqd/319:25:193
30268997131,9cyclictest9-21ksoftirqd/021:40:310
30271997061,5cyclictest41-21ksoftirqd/321:20:173
30268997023,11cyclictest9-21ksoftirqd/022:15:220
30271996939,15cyclictest41-21ksoftirqd/322:40:383
30271996842,4cyclictest41-21ksoftirqd/320:10:333
30268996830,8cyclictest9-21ksoftirqd/000:20:180
30271996657,5cyclictest41-21ksoftirqd/319:55:143
30269996657,5cyclictest25-21ksoftirqd/121:25:041
30268996629,4cyclictest9-21ksoftirqd/022:55:190
30268996624,5cyclictest9-21ksoftirqd/022:25:200
30271996555,5cyclictest41-21ksoftirqd/320:30:143
30271996554,6cyclictest41-21ksoftirqd/320:40:123
30271996520,9cyclictest41-21ksoftirqd/321:25:323
30269996528,9cyclictest25-21ksoftirqd/123:55:211
30269996526,8cyclictest25-21ksoftirqd/119:39:091
30268996526,9cyclictest9-21ksoftirqd/022:35:370
295652653,12sleep20-21swapper/219:05:532
30271996434,7cyclictest41-21ksoftirqd/320:55:223
30271996427,7cyclictest41-21ksoftirqd/322:10:283
30268996426,5cyclictest9-21ksoftirqd/020:00:340
30271996331,4cyclictest41-21ksoftirqd/323:15:343
30268996329,8cyclictest9-21ksoftirqd/021:00:260
30268996327,9cyclictest9-21ksoftirqd/022:45:280
30268996313,7cyclictest9-21ksoftirqd/022:30:350
30271996228,5cyclictest41-21ksoftirqd/322:50:173
30268996221,6cyclictest9-21ksoftirqd/019:50:260
30268996218,5cyclictest9-21ksoftirqd/020:40:300
30269996142,4cyclictest25-21ksoftirqd/123:15:271
30269996136,5cyclictest25-21ksoftirqd/100:10:291
30269996125,5cyclictest25-21ksoftirqd/122:18:401
30268996119,4cyclictest9-21ksoftirqd/020:31:100
30268996116,3cyclictest12732-21seq22:12:480
30268996110,7cyclictest9-21ksoftirqd/000:00:310
30269996044,7cyclictest25-21ksoftirqd/122:05:361
30269996023,9cyclictest25-21ksoftirqd/119:30:301
30268996022,8cyclictest9-21ksoftirqd/022:00:180
30268996021,4cyclictest9-21ksoftirqd/000:10:230
280472600,4sleep13026999cyclictest21:35:321
30271995928,8cyclictest41-21ksoftirqd/323:20:183
30271995926,4cyclictest41-21ksoftirqd/320:35:343
30269995942,3cyclictest25-21ksoftirqd/119:55:261
30269995931,4cyclictest25-21ksoftirqd/122:00:231
30269995930,5cyclictest25-21ksoftirqd/120:45:231
30269995921,8cyclictest25-21ksoftirqd/121:10:271
30269995915,7cyclictest25-21ksoftirqd/120:37:241
30268995921,5cyclictest9-21ksoftirqd/023:19:180
30268995918,4cyclictest9-21ksoftirqd/000:35:260
30271995824,4cyclictest41-21ksoftirqd/300:35:003
30271995823,17cyclictest41-21ksoftirqd/322:25:233
30269995812,5cyclictest25-21ksoftirqd/121:56:131
30268995835,7cyclictest9-21ksoftirqd/020:20:000
30268995824,5cyclictest9-21ksoftirqd/021:55:340
30268995818,6cyclictest9-21ksoftirqd/000:06:180
30271995723,5cyclictest41-21ksoftirqd/319:38:273
30271995722,5cyclictest41-21ksoftirqd/321:00:173
30269995741,4cyclictest25-21ksoftirqd/120:50:281
30269995739,8cyclictest25-21ksoftirqd/123:40:291
30269995738,8cyclictest25-21ksoftirqd/121:40:201
30269995738,8cyclictest25-21ksoftirqd/121:00:261
30269995729,5cyclictest25-21ksoftirqd/123:45:341
30268995746,5cyclictest9-21ksoftirqd/019:30:120
30268995720,3cyclictest121rcu_preempt21:45:330
30268995717,8cyclictest9-21ksoftirqd/020:11:540
30268995712,5cyclictest9-21ksoftirqd/000:15:330
30271995641,3cyclictest41-21ksoftirqd/320:25:233
30271995641,3cyclictest41-21ksoftirqd/320:25:233
30271995623,7cyclictest41-21ksoftirqd/321:55:343
30271995621,5cyclictest41-21ksoftirqd/321:10:293
30271995615,3cyclictest121rcu_preempt21:40:163
30269995638,7cyclictest25-21ksoftirqd/120:40:261
30269995638,5cyclictest25-21ksoftirqd/121:20:181
30269995638,4cyclictest25-21ksoftirqd/122:55:161
30269995633,8cyclictest25-21ksoftirqd/122:20:371
30269995628,8cyclictest25-21ksoftirqd/121:30:321
30269995625,10cyclictest25-21ksoftirqd/120:00:241
30269995614,7cyclictest25-21ksoftirqd/121:08:271
30269995611,8cyclictest25-21ksoftirqd/120:32:141
30271995524,7cyclictest41-21ksoftirqd/323:30:453
30271995523,4cyclictest41-21ksoftirqd/319:10:143
30271995523,4cyclictest41-21ksoftirqd/300:25:213
30271995522,4cyclictest41-21ksoftirqd/322:35:203
30269995542,4cyclictest25-21ksoftirqd/100:20:321
30269995541,11cyclictest25-21ksoftirqd/100:35:181
30269995521,5cyclictest25-21ksoftirqd/123:30:151
30269995520,5cyclictest25-21ksoftirqd/121:54:431
30269995510,9cyclictest25-21ksoftirqd/100:09:321
3026899556,5cyclictest9-21ksoftirqd/022:45:010
3026899556,5cyclictest9-21ksoftirqd/019:40:010
30268995544,6cyclictest9-21ksoftirqd/020:55:120
30268995518,5cyclictest9-21ksoftirqd/021:50:150
30271995425,7cyclictest41-21ksoftirqd/323:45:293
30271995421,4cyclictest41-21ksoftirqd/322:00:143
30269995445,6cyclictest25-21ksoftirqd/122:25:051
30269995439,4cyclictest25-21ksoftirqd/100:25:221
30269995439,12cyclictest25-21ksoftirqd/119:45:171
30269995419,8cyclictest25-21ksoftirqd/122:45:271
30269995410,7cyclictest25-21ksoftirqd/120:28:261
30269995410,7cyclictest25-21ksoftirqd/120:28:251
30268995432,5cyclictest9-21ksoftirqd/022:20:420
30268995417,5cyclictest9-21ksoftirqd/021:05:320
30268995416,4cyclictest9-21ksoftirqd/023:30:450
30271995343,4cyclictest41-21ksoftirqd/300:05:193
30271995320,4cyclictest41-21ksoftirqd/321:35:273
30271995319,4cyclictest41-21ksoftirqd/323:50:183
30269995339,3cyclictest18114-21missed_timers20:05:301
30269995333,7cyclictest25-21ksoftirqd/119:10:191
30269995319,8cyclictest25-21ksoftirqd/100:15:201
30268995332,6cyclictest9-21ksoftirqd/023:44:590
30268995316,8cyclictest9-21ksoftirqd/020:52:540
30268995316,8cyclictest9-21ksoftirqd/020:37:120
30271995239,4cyclictest41-21ksoftirqd/321:05:193
30271995222,7cyclictest41-21ksoftirqd/319:40:143
30269995234,4cyclictest25-21ksoftirqd/122:50:341
30269995233,7cyclictest25-21ksoftirqd/100:30:181
30269995232,5cyclictest25-21ksoftirqd/120:15:221
30269995228,7cyclictest25-21ksoftirqd/122:40:201
3026899524,7cyclictest9-21ksoftirqd/020:05:200
3026899522,7cyclictest9-21ksoftirqd/021:10:180
30268995215,8cyclictest9-21ksoftirqd/023:45:280
30271995121,7cyclictest41-21ksoftirqd/320:45:193
30271995113,8cyclictest41-21ksoftirqd/321:15:343
30269995141,5cyclictest25-21ksoftirqd/122:35:211
30269995138,9cyclictest25-21ksoftirqd/123:40:001
30269995130,5cyclictest25-21ksoftirqd/121:45:311
30269995128,3cyclictest25-21ksoftirqd/123:20:201
3026899514,5cyclictest9-21ksoftirqd/023:55:260
30268995140,5cyclictest9-21ksoftirqd/023:35:180
30268995115,8cyclictest9-21ksoftirqd/021:32:200
30268995114,8cyclictest9-21ksoftirqd/023:52:150
30271995020,7cyclictest41-21ksoftirqd/320:15:173
30271995018,4cyclictest41-21ksoftirqd/321:30:313
30271995017,4cyclictest41-21ksoftirqd/323:35:203
30271995012,8cyclictest41-21ksoftirqd/320:20:223
30271995012,8cyclictest41-21ksoftirqd/320:20:213
30271995011,8cyclictest41-21ksoftirqd/319:45:023
30269995044,3cyclictest25-21ksoftirqd/120:15:001
30269995041,5cyclictest25-21ksoftirqd/121:15:251
30269995034,4cyclictest25-21ksoftirqd/122:10:221
3026899509,4cyclictest121rcu_preempt20:45:270
3026899508,4cyclictest121rcu_preempt20:28:290
3026899508,4cyclictest121rcu_preempt20:28:290
3026899505,3cyclictest9-21ksoftirqd/019:40:250
30268995032,7cyclictest9-21ksoftirqd/022:50:290
30268995014,4cyclictest9-21ksoftirqd/023:25:160
30268995014,4cyclictest9-21ksoftirqd/023:25:150
30268995011,5cyclictest9-21ksoftirqd/020:20:180
30268995011,5cyclictest9-21ksoftirqd/020:20:170
30271994918,4cyclictest41-21ksoftirqd/322:45:313
3027199491,4cyclictest121rcu_preempt22:20:013
30269994943,3cyclictest25-21ksoftirqd/100:05:011
30269994932,5cyclictest25-21ksoftirqd/119:50:161
30269994929,7cyclictest25-21ksoftirqd/120:20:211
30269994929,7cyclictest25-21ksoftirqd/120:20:201
3026899495,4cyclictest9-21ksoftirqd/021:28:270
30268994935,11cyclictest9-21ksoftirqd/023:05:000
30268994929,6cyclictest9-21ksoftirqd/019:46:220
30268994913,8cyclictest9-21ksoftirqd/021:19:560
30271994836,10cyclictest41-21ksoftirqd/319:50:313
30269994842,3cyclictest25-21ksoftirqd/123:00:351
30269994829,9cyclictest25-21ksoftirqd/123:53:331
30268994829,5cyclictest9-21ksoftirqd/023:05:370
3026899481,3cyclictest9-21ksoftirqd/021:35:210
153292480,8sleep23027099cyclictest22:20:012
30271994741,3cyclictest41-21ksoftirqd/323:45:003
30271994736,4cyclictest41-21ksoftirqd/321:45:283
30271994712,8cyclictest41-21ksoftirqd/322:05:263
30269994742,3cyclictest25-21ksoftirqd/123:30:011
30269994742,3cyclictest25-21ksoftirqd/123:30:001
30269994740,4cyclictest25-21ksoftirqd/123:05:311
30269994727,7cyclictest25-21ksoftirqd/122:30:211
30268994737,7cyclictest9-21ksoftirqd/021:25:000
30268994725,9cyclictest9-21ksoftirqd/000:30:310
30271994613,5cyclictest41-21ksoftirqd/321:50:173
30269994627,7cyclictest25-21ksoftirqd/119:40:141
3027199458,9cyclictest41-21ksoftirqd/300:38:203
30271994539,4cyclictest41-21ksoftirqd/300:10:193
30271994538,4cyclictest41-21ksoftirqd/300:00:003
30271994537,5cyclictest41-21ksoftirqd/322:20:063
3027099454,7cyclictest121rcu_preempt20:35:212
3026899456,4cyclictest9-21ksoftirqd/022:05:250
30268994538,4cyclictest9-21ksoftirqd/023:10:230
30268994522,3cyclictest9-21ksoftirqd/019:55:310
2963324415,18sleep00-21swapper/019:06:320
30271994338,3cyclictest41-21ksoftirqd/300:20:013
3026899434,4cyclictest121rcu_preempt23:20:240
57698420,2rtkit-daemon575-21rtkit-daemon20:59:222
30270994135,4cyclictest33-21ksoftirqd/219:41:342
30270994135,4cyclictest33-21ksoftirqd/219:25:412
30270993932,4cyclictest33-21ksoftirqd/220:00:012
3027099391,6cyclictest0-21swapper/221:25:152
30270993832,4cyclictest33-21ksoftirqd/223:11:332
30270993831,4cyclictest33-21ksoftirqd/221:45:132
3027099381,35cyclictest25369-21kworker/2:220:00:162
30270993731,4cyclictest33-21ksoftirqd/221:30:272
30270993731,3cyclictest33-21ksoftirqd/223:40:062
30270993731,3cyclictest33-21ksoftirqd/200:32:062
30270993730,4cyclictest33-21ksoftirqd/222:25:012
30270993730,4cyclictest33-21ksoftirqd/200:25:592
30270993730,4cyclictest33-21ksoftirqd/200:03:572
30270993631,3cyclictest33-21ksoftirqd/222:57:022
30270993630,3cyclictest33-21ksoftirqd/200:39:242
30270993629,4cyclictest33-21ksoftirqd/221:55:432
30270993529,4cyclictest33-21ksoftirqd/222:32:052
30270993529,3cyclictest33-21ksoftirqd/220:12:082
30270993528,4cyclictest33-21ksoftirqd/223:39:012
30270993528,4cyclictest33-21ksoftirqd/223:08:582
30270993528,4cyclictest33-21ksoftirqd/221:38:382
30270993528,4cyclictest33-21ksoftirqd/200:22:422
30270993528,4cyclictest33-21ksoftirqd/200:17:162
30270993527,5cyclictest33-21ksoftirqd/222:54:292
3027099352,3cyclictest121rcu_preempt19:50:222
30270993428,4cyclictest33-21ksoftirqd/222:36:032
30270993428,3cyclictest33-21ksoftirqd/223:45:262
30270993427,4cyclictest33-21ksoftirqd/223:20:002
30270993427,4cyclictest33-21ksoftirqd/221:20:592
30270993328,3cyclictest33-21ksoftirqd/223:00:342
30270993327,4cyclictest33-21ksoftirqd/221:44:092
30270993327,4cyclictest33-21ksoftirqd/220:54:332
30270993327,3cyclictest33-21ksoftirqd/223:23:022
30270993327,3cyclictest33-21ksoftirqd/221:05:092
30270993327,3cyclictest33-21ksoftirqd/220:09:442
30270993327,3cyclictest33-21ksoftirqd/219:37:442
30270993326,4cyclictest33-21ksoftirqd/221:11:322
30270993326,4cyclictest33-21ksoftirqd/200:13:332
30270993227,3cyclictest33-21ksoftirqd/220:18:342
30270993226,4cyclictest33-21ksoftirqd/222:43:492
30270993225,4cyclictest33-21ksoftirqd/223:30:422
30270993225,4cyclictest33-21ksoftirqd/222:25:102
30270993225,4cyclictest33-21ksoftirqd/222:13:062
30270993225,4cyclictest33-21ksoftirqd/222:06:332
30270993225,4cyclictest33-21ksoftirqd/221:51:112
30270993225,4cyclictest33-21ksoftirqd/221:04:502
30270993125,3cyclictest33-21ksoftirqd/219:45:152
30270993124,4cyclictest33-21ksoftirqd/220:46:592
30270993023,4cyclictest33-21ksoftirqd/223:57:362
30270993023,4cyclictest33-21ksoftirqd/220:26:482
30270993023,4cyclictest33-21ksoftirqd/220:26:472
30270992923,4cyclictest33-21ksoftirqd/220:22:072
30270992923,4cyclictest33-21ksoftirqd/220:22:072
30270992922,4cyclictest33-21ksoftirqd/223:50:252
30270992922,4cyclictest33-21ksoftirqd/222:00:382
30270992823,3cyclictest33-21ksoftirqd/219:34:562
30270992821,4cyclictest33-21ksoftirqd/220:31:392
30270992722,3cyclictest33-21ksoftirqd/220:45:002
30270992720,4cyclictest33-21ksoftirqd/222:48:022
30270992621,3cyclictest33-21ksoftirqd/221:15:182
3027099219,4cyclictest140032acpi23:25:152
3027099219,4cyclictest140032acpi23:25:152
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional